[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR101932844B1 - 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 - Google Patents

영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 Download PDF

Info

Publication number
KR101932844B1
KR101932844B1 KR1020170048893A KR20170048893A KR101932844B1 KR 101932844 B1 KR101932844 B1 KR 101932844B1 KR 1020170048893 A KR1020170048893 A KR 1020170048893A KR 20170048893 A KR20170048893 A KR 20170048893A KR 101932844 B1 KR101932844 B1 KR 101932844B1
Authority
KR
South Korea
Prior art keywords
terminal
user
sound
image
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020170048893A
Other languages
English (en)
Other versions
KR20180116520A (ko
Inventor
안상일
정강식
용현택
Original Assignee
주식회사 하이퍼커넥트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하이퍼커넥트 filed Critical 주식회사 하이퍼커넥트
Priority to KR1020170048893A priority Critical patent/KR101932844B1/ko
Priority to US16/605,657 priority patent/US10965907B2/en
Priority to PCT/KR2018/000787 priority patent/WO2018194243A1/en
Publication of KR20180116520A publication Critical patent/KR20180116520A/ko
Application granted granted Critical
Publication of KR101932844B1 publication Critical patent/KR101932844B1/ko
Priority to US17/183,890 priority patent/US11323659B2/en
Priority to US17/659,130 priority patent/US11722638B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N99/005—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • G10L15/30—Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/454—Content or additional data filtering, e.g. blocking advertisements
    • H04N21/4542—Blocking scenes or portions of the received content, e.g. censoring scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Databases & Information Systems (AREA)
  • Telephonic Communication Services (AREA)

Abstract

기재된 실시예는 상대방과 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것을 방지할 수 있는 영상 통화 장치, 영상 통화 방법, 및 영상 통화 중개 방법에 관한 것으로서, 제1단말과의 제1 영상 통화 세션을 수립하는 단계, 제1 영상 통화 세션을 통해 제1단말로부터 영상 또는 소리를 연속적으로 수신하는 단계, 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 단계, 및 검사 결과에 따라 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하거나 제1단말의 사용자를 불량 사용자로서 제1서버에 신고하는 단계를 포함하는 영상 통화 방법이 제공될 수 있다.

Description

영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법{DEVICE AND METHOD OF MAKING VIDEO CALLS AND METHOD OF MEDIATING VIDEO CALLS}
기재된 실시예는 상대방과 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것을 방지할 수 있는 영상 통화 장치, 영상 통화 방법, 및 영상 통화 중개 방법에 관한 것이다.
통신 기술이 발전되고 전자 장치가 소형화됨에 따라 개인용 단말이 일반 소비자에게 널리 보급되고 있다. 특히 최근에는 스마트폰 또는 스마트 태블릿과 같은 휴대용 개인 단말이 널리 보급되고 있다. 상기 단말의 대부분은 통신 기능을 포함하고 있다. 사용자는 단말을 이용하여 인터넷에서 검색을 수행하거나 다른 사용자와 메시지를 주고받을 수 있다.
또한, 소형 카메라 기술, 소형 마이크 기술, 소형 디스플레이 기술 및 소형 스피커 기술의 발전에 따라 스마트폰과 같은 대부분의 단말에는 카메라, 마이크, 디스플레이 및 스피커가 포함되어 있다. 사용자는 단말을 이용하여 음성을 녹음하거나 음성이 포함된 동영상을 촬영할 수 있다. 사용자는 단말에 포함된 스피커를 통해 상기 녹음된 음성을 확인하거나 디스플레이를 통해 상기 촬영된 동영상을 확인할 수 있다.
또한, 사용자는 단말의 통신 기능을 이용하여 상기 녹음된 음성 또는 상기 촬영된 동영상을 다른 사용자와 공유할 수 있다. 사용자는 이전에 녹음된 음성 또는 이전에 촬영된 동영상을 다른 사용자에게 전송할 수 있다. 또한, 사용자는 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 다른 사용자에게 전송할 수 있다.
또한, 동시에, 상기 다른 사용자는 자신의 단말에 의해 현재 녹음되고 있는 음성 또는 현재 촬영되고 있는 동영상을 실시간으로 상기 사용자에게 전송할 수 있다. 사용자의 단말에 포함된 디스플레이는 사용자의 단말에 의해 현재 촬영되고 있는 동영상 및 다른 사용자의 단말에 의해 현재 촬영되고 있는 동영상을 동시에 표시할 수 있다. 또한, 사용자의 단말에 포함된 스피커는 다른 사용자의 단말에 의해 현재 녹음되고 있는 음성을 동시에 재생할 수 있다. 다시 말해서, 사용자 및 다른 사용자는 각자의 단말을 이용하여 서로 영상 통화(video call)를 할 수 있다.
상기 사용자 및 다른 사용자는 서로 이미 아는 관계일 수도 있고, 서로 모르는 관계일 수도 있다. 상기 사용자의 단말 및 상기 다른 사용자의 단말을 포함한 복수의 단말은 서버에 연결될 수 있다. 서버는 상기 사용자의 단말 및 상기 다른 사용자의 단말 사이를 중개할 수 있다. 따라서, 상기 사용자 및 다른 사용자는 서로 모르는 관계였다고 하더라도 서버의 중개를 통해 서로 영상 통화를 할 수 있다.
사용자가 상대방과 서로 영상 통화를 하는 도중에, 사용자는 상대방으로부터의 부적절한 영상 또는 소리에 노출될 수 있다. 특히, 사용자가 서로 모르는 관계에 있는 상대방과 영상 통화를 하는 도중에, 사용자가 상대방으로부터의 음란한 영상에 노출될 가능성이 높을 수 있다.
예를 들어, 상대방의 단말에 의해 촬영된 상대방의 벌거벗은 신체의 영상이 영상 통화 세션을 통해 사용자의 단말에 수신될 수 있다. 사용자의 단말이 상기 수신된 영상을 표시함으로써 사용자는 음란한 영상에 노출될 수 있다. 사용자가 자신이 원하지 않는 음란한 영상에 노출된 경우 사용자는 성적 수치심 또는 불쾌함을 느낄 수 있다.
기재된 실시예에 따르면 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것을 방지할 수 있는 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법이 제공될 수 있다.
또한, 영상 통화 중인 사용자가 상대방에게 부적절한 영상 또는 소리를 전송하는 것을 방지할 수 있는 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법이 제공될 수 있다.
또한, 영상 통화 중인 사용자가 상대방으로부터의 영상 또는 소리에 의해 느낄 수 있는 성적 수치심 또는 불쾌함을 방지할 수 있는 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법이 제공될 수 있다.
또한, 사용자 간의 건전한 영상 통화를 유도할 수 있는 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법이 제공될 수 있다.
실시예에 따른 영상 통화 방법은, 제1단말과의 제1 영상 통화 세션을 수립하는 단계, 상기 제1 영상 통화 세션을 통해 상기 제1단말로부터 영상 또는 소리를 연속적으로 수신하는 단계, 상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 단계, 및 상기 검사 결과에 따라, 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하거나 상기 제1단말의 사용자를 불량(abusive) 사용자로서 제1서버에 신고하는 단계를 포함할 수 있다.
또한, 상기 검사하는 단계는, 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부로부터 특정한 부분을 검출하는 단계를 포함할 수 있다.
또한, 상기 특정한 부분을 검출하는 단계는, 상기 최근의 특정한 시간 이내에 수신된 영상의 상기 적어도 일부로부터 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 부분을 검출하는 단계를 포함할 수 있다.
또한, 상기 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 상기 부분을 검출하는 단계는, 상기 최근의 특정한 시간 이내에 수신된 영상의 상기 적어도 일부로부터 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상에 대응하는 부분을 검출하는 단계를 포함할 수 있다.
또한, 상기 검사하는 단계는, 상기 최근의 특정한 시간 이내에 수신된 소리의 상기 적어도 일부로부터 특정한 음성 또는 언어에 대응하는 부분을 검출하는 단계를 포함할 수 있다.
또한, 상기 특정한 음성 또는 언어에 대응하는 상기 부분을 검출하는 단계는, 상기 최근의 특정한 시간 이내에 수신된 소리의 상기 적어도 일부로부터 욕설, 모욕, 인종차별, 명예훼손, 외설, 성희롱, 반사회적 행위, 반인륜적 행위, 테러, 증오언설(hate speech), 폭력, 학대, 마약, 위협 중에서 적어도 하나 이상에 관련된 언어에 대응하는 부분을 검출하는 단계를 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 검사하는 단계 이후 및 상기 차단하거나 신고하는 단계 이전에, 상기 검사하는 단계를 적어도 한 번 이상 반복하는 단계를 더 포함하고, 상기 차단하거나 신고하는 단계는, 상기 제1 영상 통화 세션이 수립된 이후에 상기 특정한 부분이 검출된 누적 횟수가 제1횟수 이상이거나 또는 상기 특정한 부분이 연속으로 검출된 횟수가 제2횟수 이상인 경우, 상기 수신된 영상 또는 소리 중에서 상기 적어도 일부의 출력을 차단하거나 상기 제1단말의 사용자를 신고하는 단계를 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 검사하는 단계 내지 상기 차단하거나 신고하는 단계를 일정하거나 일정하지 않은 주기마다 반복하는 단계를 더 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 수신하는 단계 이후에, 상기 수신된 영상 또는 소리를 연속적으로 출력하는 단계를 더 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 제1 영상 통화 세션을 수립하는 단계 이전에, 임의의 사용자의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점(feature) 및 상기 임의의 사용자가 불량 사용자인지 여부 사이의 상관관계에 대한 정보를 준비하는 단계를 더 포함하고, 상기 검사하는 단계는, 상기 준비된 상관관계에 대한 정보 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1단말의 사용자가 불량 사용자인지 여부를 산출하는 단계를 포함할 수 있다.
또한, 상기 상관관계에 대한 정보를 준비하는 단계는, 상기 상관관계에 대응하는 기계학습 모델을 준비하는 단계를 포함하고, 상기 검사하는 단계는, 상기 준비된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1단말의 사용자가 불량 사용자인지 여부를 예측하는(predict) 단계를 포함할 수 있다.
또한, 상기 기계학습 모델을 준비하는 단계는, 제2서버로부터 상기 기계학습 모델을 수신하는 단계를 포함할 수 있다.
또한, 상기 기계학습 모델을 준비하는 단계는, 정상 사용자 또는 불량 사용자에 대응하는 적어도 하나 이상의 영상 또는 소리를 준비하는 단계, 및 상기 적어도 하나 이상의 영상 또는 소리, 및 각각의 상기 적어도 하나 이상의 영상 또는 소리가 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 상기 기계학습 모델을 학습시키는(train) 단계를 포함할 수 있다.
또한, 상기 적어도 하나 이상의 영상 또는 소리를 준비하는 단계는, 적어도 하나 이상의 정상 사용자의 단말 또는 적어도 하나 이상의 불량 사용자의 단말과의 적어도 하나 이상의 제2 영상 통화 세션을 수립하는 단계, 및 상기 적어도 하나 이상의 제2 영상 통화 세션을 통해 전송되거나 수신된 영상 또는 소리 중에서 적어도 일부를 수집하는 단계를 포함할 수 있다.
다른 실시예에 따른 영상 통화 방법은, 제1단말이 제2단말과의 영상 통화 세션을 수립하는 단계, 상기 제1단말이 상기 제1단말의 주변의 영상을 연속적으로 촬영하거나 상기 주변에서 나는 소리를 연속적으로 녹음하는 단계, 상기 제1단말이 상기 촬영된 영상 또는 상기 녹음된 소리 중에서 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 적어도 일부를 검사하는 단계, 및 상기 검사 결과에 따라, 상기 제1단말이 상기 촬영된 영상 또는 상기 녹음된 소리 중에서 적어도 일부의 상기 영상 통화 세션을 통한 전송을 차단하거나 상기 제1단말의 사용자를 불량 사용자로서 제1서버에 신고하는 단계를 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 검사하는 단계 이후 및 상기 차단하거나 신고하는 단계 이전에, 상기 제1단말이 상기 검사하는 단계를 적어도 한 번 이상 반복하는 단계를 더 포함하고, 상기 검사하는 단계는, 상기 제1단말이 상기 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 상기 적어도 일부로부터 특정한 부분을 검출하는 단계를 포함하고, 상기 차단하거나 신고하는 단계는, 상기 영상 통화 세션이 수립된 이후에 상기 특정한 부분이 검출된 누적 횟수가 제1횟수 이상이거나 또는 상기 특정한 부분이 연속으로 검출된 횟수가 제2횟수 이상인 경우, 상기 촬영된 영상 또는 상기 녹음된 소리 중에서 상기 적어도 일부의 전송을 차단하거나 상기 제1단말의 사용자를 신고하는 단계를 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 영상 통화 세션을 수립하는 단계 이전에, 상기 제1단말이 임의의 사용자의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점(feature) 및 상기 임의의 사용자가 불량 사용자인지 여부 사이의 상관관계에 대응하는 기계학습 모델을 제2서버로부터 수신하는 단계를 더 포함하고, 상기 검사하는 단계는, 상기 제1단말이 상기 수신된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 상기 적어도 일부를 이용하여 상기 제1단말의 사용자가 불량 사용자인지 여부를 예측하는(predict) 단계를 포함할 수 있다.
또한, 상기 영상 통화 방법은, 상기 영상 통화 세션을 수립하는 단계 이전에, 상기 제1단말이 정상 사용자 또는 불량 사용자에 대응하는 적어도 하나 이상의 영상 또는 소리를 준비하는 단계, 및 상기 제1단말이 상기 적어도 하나 이상의 영상 또는 소리, 및 각각의 상기 적어도 하나 이상의 영상 또는 소리가 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 기계학습 모델을 학습시키는(train) 단계를 더 포함하고, 상기 검사하는 단계는, 상기 제1단말이 상기 학습된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 상기 적어도 일부를 이용하여 상기 제1단말의 사용자가 불량 사용자인지 여부를 예측하는 단계를 포함할 수 있다.
실시예에 따른 영상 통화 중개 방법은, 서버가 복수의 단말로부터 중개 요청을 수신하는 단계, 상기 서버가 상기 복수의 단말 중에서 제1단말 및 제2단말 사이의 영상 통화 연결을 중개하는 단계, 상기 서버가 상기 제1단말로부터 상기 제1단말이 촬영한 상기 제1단말의 주변의 영상, 상기 제1단말이 녹음한 상기 제1단말의 주변에서 나는 소리, 상기 제1단말이 상기 제2단말로부터 수신한 영상, 또는 상기 제1단말이 상기 제2단말로부터 수신한 소리에 대한 상기 제1단말의 검사 결과로서 상기 제1단말의 사용자 또는 상기 제2단말의 사용자가 불량 사용자라는 신고를 수신하는 단계, 상기 서버가 상기 신고에 대한 응답으로 상기 신고된 사용자의 단말 및 감시 요원의 단말 사이의 영상 통화 연결을 중개하는 단계, 상기 서버가 상기 감시 요원의 단말로부터 상기 신고된 사용자에 대한 검증 결과를 수신하는 단계, 및 상기 서버가 상기 수신된 검증 결과에 따라, 상기 신고된 사용자의 단말로부터의 추가적인 중개 요청을 거절하는 단계를 포함할 수 있다.
실시예에 따른 영상 통화 장치는, 단말과의 영상 통화 세션을 수립하고, 상기 영상 통화 세션을 통해 상기 단말로부터 영상 또는 소리를 연속적으로 수신하는 통신부, 상기 수신된 영상 또는 소리를 연속적으로 출력하는 출력부, 및 상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 제어부를 포함하고, 상기 검사 결과에 따라, 상기 제어부는 상기 출력부가 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하도록 제어하거나 상기 통신부가 상기 단말의 사용자를 불량(abusive) 사용자로서 서버에 신고하도록 제어할 수 있다.
다른 실시예에 따른 영상 통화 장치는, 주변의 영상을 연속적으로 촬영하거나 상기 주변에서 나는 소리를 연속적으로 녹음하는 입력부, 단말과의 영상 통화 세션을 수립하고, 상기 영상 통화 세션을 통해 상기 단말에 상기 촬영된 영상 또는 상기 녹음된 소리를 연속적으로 전송하는 통신부, 및 상기 촬영된 영상 또는 상기 녹음된 소리 중에서 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 적어도 일부를 검사하는 제어부를 포함하고, 상기 검사 결과에 따라, 상기 통신부는 상기 촬영된 영상 또는 상기 녹음된 소리 중에서 적어도 일부의 전송을 차단하거나 상기 영상 통화 장치의 사용자를 불량 사용자로서 서버에 신고할 수 있다.
기재된 실시예에 따르면 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것이 방지될 수 있다.
또한, 실시예에 따르면 영상 통화 중인 사용자가 상대방에게 부적절한 영상 또는 소리를 전송하는 것이 방지될 수 있다.
또한, 실시예에 따르면 영상 통화 중인 사용자가 상대방으로부터의 영상 또는 소리에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다.
또한, 실시예에 따르면 사용자 간의 건전한 영상 통화가 유도될 수 있다.
도 1은 실시예에 따른 영상 통화 장치가 동작하는 환경을 나타내는 네트워크 구성도이다.
도 2는 실시예에 따른 영상 통화 장치의 구성을 나타내는 블록도이다.
도 3은 실시예에 따른 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다.
도 4는 실시예에 따른 상관관계에 대한 정보를 준비하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 5는 실시예에 따른 적어도 하나 이상의 영상 또는 소리를 준비하는 단계가 수행되는 과정을 나타내는 순서도이다.
도 6은 실시예에 따른 영상 통화 도중에 제2 영상 통화 장치의 사용자의 영상 및 상대방의 영상이 표시된 제2 영상 통화 장치의 정면도이다.
도 7은 다른 실시예에 따른 영상 통화 도중에 제2 영상 통화 장치의 사용자의 영상 및 상대방의 영상이 표시된 제2 영상 통화 장치의 정면도이다.
도 8은 또 다른 실시예에 따른 영상 통화 도중에 제1 영상 통화 장치의 사용자의 영상 및 제2 영상 통화 장치의 사용자의 영상이 표시된 제1 영상 통화 장치 또는 제2 영상 통화 장치의 정면도이다.
도 9는 다른 실시예에 따른 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다.
도 10은 실시예에 따른 영상 통화 중개 방법이 수행되는 과정을 나타내는 순서도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
비록 "제1" 또는 "제2" 등이 다양한 구성요소를 서술하기 위해서 사용되나, 이러한 구성요소는 상기와 같은 용어에 의해 제한되지 않는다. 상기와 같은 용어는 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용될 수 있다. 따라서, 이하에서 언급되는 제1구성요소는 본 발명의 기술적 사상 내에서 제2구성요소일 수도 있다.
본 명세서에서 사용된 용어는 실시예를 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소 또는 단계가 하나 이상의 다른 구성요소 또는 단계의 존재 또는 추가를 배제하지 않는다는 의미를 내포한다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 해석될 수 있다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하에서는, 도 1 내지 도 10을 참조하여 실시예에 따른 영상 통화 장치(200, 210, 300), 영상 통화 방법 및 영상 통화 중개 방법에 대해 상세히 설명하기로 한다.
도 1은 실시예에 따른 영상 통화 장치(200, 210, 300)가 동작하는 환경을 나타내는 네트워크 구성도이다. 도 1을 참조하면, 영상 통화 장치(200, 210, 300)가 동작하는 환경은 서버(100), 및 상기 서버(100)와 서로 연결된 적어도 둘 이상의 영상 통화 장치(200, 210, 300)를 포함할 수 있다. 도 1에서는 편의상 세 개의 영상 통화 장치(200, 210, 300)만이 도시되어 있으나, 세 개보다 더 많은 수의 영상 통화 장치(200, 210, 300)가 포함될 수 있다.
서버(100)는 통신망에 연결될 수 있다. 서버(100)는 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 서버(100)는 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
서버(100)와 연결된 통신망은 유선 통신망, 무선 통신망, 또는 복합 통신망을 포함할 수 있다. 통신망은 3G, LTE, 또는 LTE-A 등과 같은 이동 통신망을 포함할 수 있다. 통신망은 와이파이(Wi-Fi), UMTS/GPRS, 또는 이더넷(Ethernet) 등과 같은 유선 또는 무선 통신망을 포함할 수 있다. 통신망은 마그네틱 보안 전송(MST, Magnetic Secure Transmission), RFID(Radio Frequency IDentification), NFC(Near Field Communication), 지그비(ZigBee), Z-Wave, 블루투스(Bluetooth), 저전력 블루투스(BLE, Bluetooth Low Energy), 또는 적외선 통신(IR, InfraRed communication) 등과 같은 근거리 통신망을 포함할 수 있다. 통신망은 근거리 네트워크(LAN, Local Area Network), 도시권 네트워크(MAN, Metropolitan Area Network), 또는 광역 네트워크(WAN, Wide Area Network) 등을 포함할 수 있다.
서버(100)는 통신망을 통해 각각의 영상 통화 장치(200, 210, 300)와 서로 연결될 수 있다. 서버(100)가 제1 영상 통화 장치(200)와 서로 연결된 경우, 서버(100)는 제1 영상 통화 장치(200)와 통신망을 통해 서로 데이터를 주고 받을 수 있다. 서버(100)가 제2 영상 통화 장치(210)와 서로 연결된 경우, 서버(100)는 제2 영상 통화 장치(210)와 통신망을 통해 서로 데이터를 주고 받을 수 있다. 서버(100)가 제3 영상 통화 장치(300)와 서로 연결된 경우, 서버(100)는 제3 영상 통화 장치(300)와 통신망을 통해 서로 데이터를 주고 받을 수 있다.
서버(100)는 영상 통화 장치(200, 210, 300)로부터 데이터를 수신할 수 있다. 서버(100)는 영상 통화 장치(200, 210, 300)로부터 수신된 데이터를 이용하여 연산을 수행할 수 있다. 서버(100)는 상기 연산 결과를 영상 통화 장치(200, 210, 300)에 전송할 수 있다.
서버(100)는 복수의 영상 통화 장치(200, 210, 300)로부터 영상 통화 중개 요청을 수신할 수 있다. 서버(100)는 중개 요청을 전송한 복수의 영상 통화 장치(200, 210, 300) 중에서 적어도 둘 이상의 영상 통화 장치(200, 210, 300)를 선택할 수 있다. 예를 들어, 서버(100)는 상기 적어도 둘 이상의 영상 통화 장치(200, 210, 300)로서 제1 영상 통화 장치(200) 및 제2 영상 통화 장치(210)를 선택할 수 있다.
서버(100)는 상기 선택된 적어도 둘 이상의 영상 통화 장치(200, 210, 300) 사이의 영상 통화 연결을 중개할 수 있다. 예를 들어, 서버(100)는 제1 영상 통화 장치(200)에 대한 연결 정보를 제2 영상 통화 장치(210)에 전송할 수 있다. 다른 예로서, 서버(100)는 제2 영상 통화 장치(210)에 대한 연결 정보를 제1 영상 통화 장치(200)에 전송할 수 있다.
제1 영상 통화 장치(200)에 대한 연결 정보는 예를 들어, 제1 영상 통화 장치(200)의 아이피(IP) 주소 및 포트(port) 번호를 포함할 수 있다. 제1 영상 통화 장치(200)에 대한 연결 정보를 수신한 제2 영상 통화 장치(210)는 상기 수신된 연결 정보를 이용하여 제1 영상 통화 장치(200)에의 연결을 시도할 수 있다.
제2 영상 통화 장치(210)에 대한 연결 정보는 예를 들어, 제2 영상 통화 장치(210)의 아이피(IP) 주소 및 포트(port) 번호를 포함할 수 있다. 제2 영상 통화 장치(210)에 대한 연결 정보를 수신한 제1 영상 통화 장치(200)는 상기 수신된 연결 정보를 이용하여 제2 영상 통화 장치(210)에의 연결을 시도할 수 있다.
제1 영상 통화 장치(200)의 제2 영상 통화 장치(210)에의 연결 시도 또는 제2 영상 통화 장치(210)의 제1 영상 통화 장치(200)에의 연결 시도가 성공함으로써, 제1 영상 통화 장치(200) 및 제2 영상 통화 장치(210) 사이의 영상 통화 세션이 수립될 수 있다. 상기 영상 통화 세션을 통해 제1 영상 통화 장치(200)는 제2 영상 통화 장치(210)에 영상 또는 소리를 전송할 수 있다. 제1 영상 통화 장치(200)는 영상 또는 소리를 디지털 신호로 인코딩하고, 상기 인코딩된 결과물을 제2 영상 통화 장치(210)에 전송할 수 있다.
또한, 상기 영상 통화 세션을 통해 제1 영상 통화 장치(200)는 제2 영상 통화 장치(210)로부터 영상 또는 소리를 수신할 수 있다. 제1 영상 통화 장치(200)는 디지털 신호로 인코딩된 영상 또는 소리를 수신하고, 상기 수신된 인코딩된 영상 또는 소리를 디코딩할 수 있다.
상기 영상 통화 세션을 통해 제2 영상 통화 장치(210)는 제1 영상 통화 장치(200)에 영상 또는 소리를 전송할 수 있다. 또한, 상기 영상 통화 세션을 통해 제2 영상 통화 장치(210)는 제1 영상 통화 장치(200)로부터 영상 또는 소리를 수신할 수 있다. 이로써, 제1 영상 통화 장치(200)의 사용자 및 제2 영상 통화 장치(210)의 사용자는 서로 영상 통화를 할 수 있다.
영상 통화 장치(200, 210, 300)는 단말일 수 있다. 영상 통화 장치(200, 210, 300)는 예를 들어, 데스크탑 컴퓨터, 랩탑 컴퓨터, 스마트폰, 스마트 태블릿, 스마트 워치, 이동 단말, 디지털 카메라, 웨어러블 디바이스(wearable device), 또는 휴대용 전자기기 등일 수 있다. 영상 통화 장치(200, 210, 300)는 프로그램 또는 애플리케이션을 실행할 수 있다. 각각의 영상 통화 장치(200, 210, 300)는 서로 동일한 종류의 장치일 수도 있고, 서로 동일한 종류의 장치가 아닐 수도 있다.
이하에서는 설명의 편의를 위해 제1 영상 통화 장치(200)를 가리키는 용어로서 제1 영상 통화 장치(200) 및 제1단말(200)을 혼용하기로 한다. 또한, 이하에서는 제2 영상 통화 장치(210)를 가리키는 용어로서 제2 영상 통화 장치(210) 및 제2단말(210)을 혼용하고, 제3 영상 통화 장치(300)를 가리키는 용어로서 제3 영상 통화 장치(300) 및 제3단말(300)을 혼용하기로 한다.
도 2는 실시예에 따른 제1단말(200)의 구성을 나타내는 블록도이다. 제2단말(210)의 구성 또는 제3단말(300)의 구성은 제1단말(200)의 구성과 서로 동일하거나 동일하지 않을 수 있다. 도 2를 참조하면, 실시예에 따른 제1단말(200)은 입력부(201), 저장부(202), 통신부(203), 출력부(204), 및 제어부(205)를 포함할 수 있다.
입력부(201)는 외부로부터 입력을 수신할 수 있다. 입력부(201)는 제1단말(200)의 사용자로부터 입력을 수신할 수 있다. 또한, 입력부(201)는 입력으로서 외부 장치로부터 신호를 수신할 수 있다. 입력부(201)는 예를 들어, 마이크, 카메라, 키보드, 마우스, 트랙볼, 터치스크린, 버튼, 스위치, 센서, 네트워크 인터페이스, 또는 기타 입력 장치를 포함할 수 있다.
입력부(201)는 입력부(201)에 포함된 카메라를 통해 외부로부터 빛을 수신할 수 있다. 입력부(201)는 외부의 사물로부터 방출된 빛 또는 외부의 사물에서 반사된 빛을 수신할 수 있다. 입력부(201)는 상기 카메라를 통해 제1단말(200)의 주변의 영상을 연속적으로 촬영할 수 있다. 입력부(201)는 제1단말(200)의 사용자의 영상을 촬영할 수 있다.
입력부(201)는 입력부(201)에 포함된 마이크를 통해 외부로부터 소리를 수신할 수 있다. 입력부(201)는 제1단말(200)의 사용자로부터 음성을 수신할 수 있다. 또한, 입력부(201)는 외부의 소리 재생 장치로부터 소리를 수신할 수 있다. 입력부(201)는 상기 마이크를 통해 제1단말(200)의 주변에서 나는 소리를 연속적으로 녹음할 수 있다. 입력부(201)는 제1단말(200)의 사용자의 음성을 녹음할 수 있다.
저장부(202)는 데이터를 저장할 수 있다. 저장부(202)는 입력부(201)에 의해 수신된 입력을 저장할 수 있다. 저장부(202)는 입력부(201)에 의해 촬영된 영상 또는 녹음된 소리를 저장할 수 있다. 저장부(202)는 제어부(205)가 연산을 수행하는 데에 이용할 데이터를 저장할 수 있다. 저장부(202)는 제어부(205)에 의해 수행된 연산 결과를 저장할 수 있다. 예를 들어, 저장부(202)는 제어부(205)에 의해 인코딩된 영상 또는 음성을 저장할 수 있다. 저장부(202)는 통신부(203)를 통해 외부로 전송할 데이터를 저장하거나 통신부(203)를 통해 외부로부터 수신된 데이터를 저장할 수 있다.
저장부(202)는 휘발성 메모리 또는 비휘발성 메모리를 포함할 수 있다. 저장부(202)는 예를 들어, 플래시(flash) 메모리, ROM, RAM, EEROM, EPROM, EEPROM, 하드디스크 드라이브(HDD, Hard Disk Drive), 또는 레지스터(register) 등을 포함할 수 있다. 저장부(202)는 예를 들어, 파일 시스템, 데이터베이스, 또는 임베디드 데이터베이스 등을 포함할 수 있다.
통신부(203)는 외부에 데이터를 전송하거나 외부로부터 데이터를 수신할 수 있다. 통신부(203)는 다른 영상 통화 장치(210, 300) 또는 서버(100)에 데이터를 전송할 수 있다. 통신부(203)는 다른 영상 통화 장치(210, 300) 또는 서버(100)로부터 데이터를 수신할 수 있다. 통신부(203)는 제어부(205)에 의해 수행된 연산 결과를 외부에 전송할 수 있다. 통신부(203)는 제어부(205)가 연산을 수행하는 데에 이용할 데이터를 외부로부터 수신할 수 있다. 또한, 통신부(203)는 저장부(202)에 저장된 데이터를 외부에 전송할 수 있다. 통신부(203)는 입력부(201)에 의해 촬영된 영상 또는 녹음된 소리를 외부에 전송할 수 있다.
통신부(203)에 의해 전송될 데이터 또는 통신부(203)에 의해 수신된 데이터는 저장부(202)에 저장될 수 있다. 예를 들어, 통신부(203)는 저장부(202)에 저장된 인코딩된 영상 또는 음성을 서버(100) 또는 다른 영상 통화 장치(210, 300)에 전송할 수 있다. 또한, 통신부(203)는 다른 영상 통화 장치(210, 300)로부터 상기 다른 영상 통화 장치(210, 300)에 의해 인코딩된 영상 또는 음성을 수신할 수 있다.
통신부(203)는 예를 들어, 3G 모듈, LTE 모듈, LTE-A 모듈, Wi-Fi 모듈, 와이기그(WiGig) 모듈, UWB(Ultra Wide Band) 모듈, 또는 랜카드 등과 같은 원거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(203)는 마그네틱 보안 전송(MST, Magnetic Secure Transmission) 모듈, 블루투스 모듈, NFC 모듈, RFID 모듈, 지그비(ZigBee) 모듈, Z-Wave 모듈, 또는 적외선 모듈 등과 같은 근거리용 네트워크 인터페이스를 포함할 수 있다. 또한, 통신부(203)는 기타 네트워크 인터페이스를 포함할 수 있다.
출력부(204)는 외부에 신호를 출력할 수 있다. 출력부(204)는 예를 들어, 화면을 표시하거나, 소리를 재생하거나, 또는 진동을 출력할 수 있다. 출력부(204)는 디스플레이, 스피커, 바이브레이터, 오실레이터, 또는 기타 출력 장치를 포함할 수 있다.
출력부(204)는 화면을 표시할 수 있다. 제어부(205)는 출력부(204)가 화면을 표시하도록 출력부(204)를 제어할 수 있다. 출력부(204)는 사용자 인터페이스를 표시할 수 있다. 출력부(204)는 사용자로부터의 입력에 대한 응답으로 다른 화면을 표시할 수 있다.
출력부(204)는 데이터를 표시할 수 있다. 출력부(204)는 제어부(205)에 의해 수행된 연산 결과를 표시할 수 있다. 출력부(204)는 저장부(202)에 저장된 데이터를 표시할 수 있다. 출력부(204)는 통신부(203)에 의해 수신된 데이터를 표시할 수 있다.
출력부(204)는 입력부(201)에 의해 촬영된 제1단말(200)의 사용자의 영상 또는 다른 영상 통화 장치(210, 300)에 의해 촬영된 다른 사용자의 영상을 표시할 수 있다. 또한, 출력부(204)는 입력부(201)에 의해 녹음된 제1단말(200)의 사용자의 음성 또는 다른 영상 통화 장치(210, 300)에 의해 녹음된 다른 사용자의 음성을 재생할 수 있다.
출력부(204)는 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diode), 또는 PDP(Plasma Display Panel) 등의 평판 표시 장치를 포함할 수 있다. 출력부(204)는 곡면 디스플레이 또는 플렉서블 디스플레이(flexible display)를 포함할 수 있다. 출력부(204)는 터치스크린을 포함할 수 있다.
제어부(205)는 제1단말(200)의 동작을 제어할 수 있다. 제어부(205)는 제1단말(200)에 포함된 각각의 구성요소와 서로 연결될 수 있다. 제어부(205)는 제1단말(200)에 포함된 각각의 구성요소의 동작을 제어할 수 있다.
제어부(205)는 신호를 처리할 수 있다. 제어부(205)는 입력부(201)에 의해 수신된 신호를 처리할 수 있다. 예를 들어, 제어부(205)는 입력부(201)를 통해 수신된 사용자의 요청을 처리할 수 있다. 제어부(205)는 입력부(201)에 포함된 카메라에 의해 촬영된 사용자의 영상을 처리할 수 있다. 제어부(205)는 입력부(201)에 포함된 마이크에 의해 녹음된 소리 또는 사용자의 음성을 처리할 수 있다.
제어부(205)는 통신부(203)에 의해 수신된 신호를 처리할 수 있다. 예를 들어, 제어부(205)는 통신부(203)를 통해 수신된 사용자의 요청을 처리할 수 있다. 제어부(205)는 통신부(203)를 통해 수신된 다른 사용자의 영상 또는 음성을 처리할 수 있다.
제어부(205)는 입력부(201)에 의해 수신된 신호에 대한 응답으로, 제1단말(200)의 동작을 제어할 수 있다. 제어부(205)는 입력부(201)를 통해 수신된 사용자의 요청에 대한 응답으로, 제1단말(200)의 동작을 제어할 수 있다.
제어부(205)는 연산을 수행할 수 있다. 제어부(205)는 입력부(201)에 의해 수신된 신호에 따라 연산을 수행할 수 있다. 제어부(205)는 입력부(201)에 의해 수신된 신호 또는 저장부(202)에 저장된 데이터를 이용하여 연산을 수행할 수 있다. 예를 들어, 제어부(205)는 입력부(201)에 포함된 카메라에 의해 촬영된 영상을 이용하여 영상 처리(image processing)를 수행할 수 있다. 제어부(205)는 입력부(201)에 의해 촬영된 영상을 인코딩할 수 있다. 제어부(205)는 입력부(201)에 포함된 마이크에 의해 녹음된 소리 또는 음성을 처리할 수 있다. 제어부(205)는 입력부(201)에 의해 녹음된 소리 또는 음성을 인코딩할 수 있다.
제어부(205)는 통신부(203)에 의해 수신된 다른 사용자의 영상 또는 음성을 디코딩할 수 있다. 제어부(205)는 상기 디코딩된 영상 또는 음성에 후처리(postprocessing)를 수행할 수 있다. 예를 들어, 제어부(205)는 통신부(203)에 의해 수신된 다른 사용자의 영상에 영상 처리를 수행할 수 있다.
제어부(205)는 연산 결과가 저장부(202)에 저장되도록 제어할 수 있다. 제어부(205)는 연산 결과가 출력부(204)에 의해 출력되도록 제어할 수 있다. 제어부(205)는 연산 결과가 통신부(203)에 의해 다른 영상 통화 장치(210, 300)에 전송되도록 제어할 수 있다.
제어부(205)는 예를 들어, 중앙 처리 장치(Central Processing Unit, CPU), 그래픽 처리 장치(Graphic Processing Unit, GPU), 마이크로컨트롤러유닛(Micro Controller Unit, MCU), 또는 마이크로프로세서(microprocessor)를 포함할 수 있다.
제2단말(210)은 제1단말(200)과 서로 동일한 종류의 단말일 수도 있고, 서로 다른 종류의 단말일 수도 있다. 제2단말(210)은 프로그램 또는 애플리케이션을 실행할 수 있다.
제2단말(210)은 통신망에 연결될 수 있다. 제2단말(210)은 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 제2단말(210)은 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
제2단말(210)은 서버(100)의 중개를 통해 상기 제1단말(200)과 서로 연결될 수 있다. 제2단말(210)은 제1단말(200)에 데이터를 전송하거나 제1단말(200)로부터 데이터를 수신할 수 있다. 서로 연결된 제1단말(200) 및 제2단말(210)은 서로 메시지, 파일, 데이터, 영상, 동영상, 소리, 또는 음성 등을 주고 받을 수 있다.
제2단말(210)은 제1단말(200)과의 음성 통화 세션 또는 영상 통화 세션을 수립할 수 있다. 상기 영상 통화 세션은 예를 들어, TCP(Transmission Control Protocol), UDP(User Datagram Protocol), 또는 WebRTC(Web Real-Time Communication) 등을 이용하여 수립될 수 있다. 제1단말(200)의 사용자 및 제2단말(210)의 사용자는 상기 음성 통화 세션 또는 영상 통화 세션을 이용하여 서로 음성 통화 또는 영상 통화를 할 수 있다.
상기 영상 통화 세션은 제1단말(200) 및 제2단말(210) 사이에 직접적으로 수립될 수 있다. 다른 실시예에 따르면, 적어도 하나 이상의 다른 장치를 경유하여 제1단말(200) 및 제2단말(210) 사이에 영상 통화 세션이 수립될 수 있다. 예를 들어, 상기 영상 통화 세션은 제1단말(200)과 서버(100) 사이에 수립된 세션 및 서버(100)와 제2단말(210) 사이에 수립된 세션을 포함할 수 있다.
제1단말(200) 및 제2단말(210)은 서로 직접 데이터를 주고 받을 수 있다. 또한, 제1단말(200) 및 제2단말(210)은 서버(100) 또는 다른 중개 장치를 경유하여 서로 데이터를 주고 받을 수 있다.
제3단말(300)은 제1단말(200)과 서로 동일한 종류의 단말일 수도 있고, 서로 다른 종류의 단말일 수도 있다. 제3단말(300)은 프로그램 또는 애플리케이션을 실행할 수 있다.
제3단말(300)은 통신망에 연결될 수 있다. 제3단말(300)은 상기 통신망을 통해 외부의 다른 장치와 서로 연결될 수 있다. 제3단말(300)은 서로 연결된 다른 장치에 데이터를 전송하거나 상기 다른 장치로부터 데이터를 수신할 수 있다.
이하에서는, 도 3 내지 도 9를 참조하여 실시예에 따른 영상 통화 방법 내에서의 영상 통화 장치(200, 210, 300)의 보다 구체적인 동작에 대하여 상세히 설명하기로 한다.
도 3은 실시예에 따른 제2단말(210)에 의한 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다. 도 3을 참조하면, 실시예에 따른 영상 통화 방법에서는, 먼저, 임의의 사용자의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점(feature) 및 상기 임의의 사용자가 불량(abusive) 사용자인지 여부 사이의 상관관계에 대한 정보를 준비하는 단계(S100)가 수행될 수 있다. 제2단말(210)의 저장부(202)는 상기 상관관계에 대한 정보를 준비할 수 있다.
임의의 사용자의 임의의 영상 또는 소리는 적어도 하나 이상의 특징점을 포함할 수 있다. 임의의 영상에 포함된 특징점은 상기 임의의 영상에 포함된 특정한 모양, 패턴, 색상, 또는 이들의 조합일 수 있다. 상기 특징점은 예를 들어, 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 특정한 모양, 패턴, 색상, 또는 이들의 조합일 수 있다.
임의의 영상에 포함된 각각의 특징점은 정상적인 요소 또는 불량한 요소에 대응할 수 있다. 예를 들어, 상기 특징점은 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상의 불량한 요소에 대응할 수 있다.
임의의 소리에 포함된 특징점은 상기 임의의 소리에 포함된 특정한 파형, 패턴, 또는 이들의 조합일 수 있다. 상기 특징점은 예를 들어, 특정한 음성 또는 언어에 대응하는 특정한 파형, 패턴, 또는 이들의 조합일 수 있다.
임의의 소리에 포함된 각각의 특징점은 정상적인 요소 또는 불량한 요소에 대응할 수 있다. 예를 들어, 상기 특징점은 신음, 헐떡이는 소리(gasping sound), 비명 또는 괴성 중에서 적어도 하나 이상의 불량한 요소에 대응할 수 있다. 다른 예로서, 상기 특징점은 굉음, 총성, 구토 소리(vomit sound), 타격 소리(hit sound), 채찍 소리(whip sound), 칼 소리(knife sound), 휘두르는 소리(swing sound), 찌르는 소리(stab sound), 톱 소리(saw sound), 쇳소리(grating sound), 삐걱거리는 소리(creaking sound), 특정한 임계값 이상의 피치(pitch)를 갖는 소리, 또는 특정한 임계값 이상의 크기(loudness)를 갖는 소리 중에서 적어도 하나 이상의 불량한 요소에 대응할 수 있다. 또 다른 예로서, 상기 특징점은 불량한 요소로서 욕설, 모욕, 인종차별, 명예훼손, 외설, 성희롱, 반사회적 행위, 반인륜적 행위, 테러, 증오언설(hate speech), 폭력, 학대, 마약, 위협 중에서 적어도 하나 이상에 관련된 언어에 대응할 수 있다.
제2단말(210)의 저장부(202)는 상기 상관관계에 대한 정보를 포함하는 목록, 표, 데이터베이스, 또는 기계학습(machine learning) 모델 중에서 적어도 하나 이상을 준비할 수 있다. 제2단말(210)의 저장부(202)는 적어도 하나 이상의 항목을 포함하는 목록을 준비할 수 있다. 제2단말(210)의 저장부(202)는 상기 목록에 대응하는 데이터베이스를 준비할 수 있다.
상기 목록에 포함된 각각의 항목은 하나의 특징점에 대한 정보를 포함할 수 있다. 각각의 항목에 대응하는 각각의 특징점은 불량한 요소에 대응할 수 있다. 따라서, 상기 목록에 포함된 항목에 대응하는 특징점 중에서, 임의의 영상 또는 소리에 포함된 특징점과 서로 동일한 특징점이 존재하는 경우, 상기 임의의 영상 또는 소리는 불량한 요소를 포함한다고 판정될 수 있다. 상기 임의의 영상 또는 소리가 불량한 요소를 포함한다고 판정되는 경우 상기 임의의 사용자는 불량 사용자라고 판정될 수 있다.
제2단말(210)의 통신부(203)는 상기 목록, 또는 상기 목록에 대응하는 데이터베이스를 서버(100) 또는 별개의 서버로부터 수신할 수 있다. 제2단말(210)의 저장부(202)는 상기 수신된 목록 또는 데이터베이스를 저장할 수 있다. 다른 실시예에 따르면, 제2단말(210)의 제어부(205)는 상기 목록 또는 데이터베이스를 스스로 생성하고, 제2단말(210)의 저장부(202)는 상기 생성된 목록 또는 데이터베이스를 저장할 수 있다.
다른 실시예에 따르면, 제2단말(210)의 저장부(202)는 적어도 하나 이상의 레코드(record)를 포함하는 표를 준비할 수 있다. 제2단말(210)의 저장부(202)는 상기 표에 대응하는 데이터베이스를 준비할 수 있다.
상기 표에 포함된 각각의 레코드는 하나의 특징점에 대한 정보 및 상기 특징점이 정상적인 요소 또는 불량한 요소에 대응하는지 여부에 대한 정보를 포함할 수 있다. 따라서, 상기 표에 포함된 레코드 중에서 임의의 영상 또는 소리에 포함된 특징점에 대응하는 레코드가 존재하고, 상기 특징점이 불량한 요소에 대응한다는 정보가 상기 레코드 내에 포함되어 있는 경우, 상기 임의의 영상 또는 소리는 불량한 요소를 포함한다고 판정될 수 있다. 상기 임의의 영상 또는 소리가 불량한 요소를 포함한다고 판정되는 경우 상기 임의의 사용자는 불량 사용자라고 판정될 수 있다.
제2단말(210)의 통신부(203)는 상기 표, 또는 상기 표에 대응하는 데이터베이스를 서버(100) 또는 별개의 서버로부터 수신할 수 있다. 제2단말(210)의 저장부(202)는 상기 수신된 표 또는 데이터베이스를 저장할 수 있다. 다른 실시예에 따르면, 제2단말(210)의 제어부(205)는 상기 표 또는 데이터베이스를 스스로 생성하고, 제2단말(210)의 저장부(202)는 상기 생성된 표 또는 데이터베이스를 저장할 수 있다.
또 다른 실시예에 따르면, 제2단말(210)의 저장부(202)는 상기 상관관계에 대응하는 기계학습 모델을 준비할 수 있다. 상기 기계학습 모델은 적어도 둘 이상의 레이어(layer)를 포함하는 뉴럴 네트워크(neural network)일 수 있다. 상기 기계학습 모델은 입력 레이어(input layer) 및 출력 레이어(output layer)를 포함할 수 있다. 상기 기계학습 모델은 적어도 하나 이상의 은닉 레이어(hidden layer)를 더 포함할 수 있다.
상기 기계학습 모델은 적어도 하나 이상의 영상 또는 소리, 및 상기 적어도 하나 이상의 영상 또는 소리가 정상적인 요소 또는 불량한 요소에 대응하는지 여부에 대한 정보를 이용하여 학습(train)된 분류 모델(classification model)일 수 있다. 상기 기계학습 모델은 임의의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점을 입력값으로서 이용할 수 있다. 상기 기계학습 모델은 상기 적어도 하나 이상의 특징점이 정상적인 요소 또는 불량한 요소에 대응하는지 여부를 예측(predict)할 수 있다. 상기 적어도 하나 이상의 특징점이 불량한 요소에 대응한다고 예측된 경우, 상기 임의의 사용자는 불량 사용자라고 판정될 수 있다.
제2단말(210)의 통신부(203)는 상기 기계학습 모델을 서버(100) 또는 별개의 서버로부터 수신할 수 있다. 제2단말(210)의 저장부(202)는 상기 수신된 기계학습 모델을 저장할 수 있다. 다른 실시예에 따르면, 제2단말(210)의 제어부(205)는 상기 기계학습 모델을 스스로 학습시키고, 제2단말(210)의 저장부(202)는 상기 학습된 기계학습 모델을 저장할 수 있다.
도 4는 실시예에 따른 상관관계에 대한 정보를 준비하는 단계(S100)가 수행되는 과정을 나타내는 순서도이다. 도 4를 참조하면, 먼저, 정상 사용자 또는 불량 사용자에 대응하는 적어도 하나 이상의 영상 또는 소리를 준비하는 단계(S101)가 수행될 수 있다. 제2단말(210)의 저장부(202)는 정상 사용자 또는 불량 사용자에 대응하는 적어도 하나 이상의 영상 또는 소리를 준비할 수 있다.
도 5는 실시예에 따른 적어도 하나 이상의 영상 또는 소리를 준비하는 단계(S101)가 수행되는 과정을 나타내는 순서도이다. 도 5를 참조하면, 먼저, 적어도 하나 이상의 정상 사용자의 단말 또는 적어도 하나 이상의 불량 사용자의 단말과의 적어도 하나 이상의 제2 영상 통화 세션을 수립하는 단계(S102)가 수행될 수 있다. 제2단말(210)의 통신부(203)는 상기 적어도 하나 이상의 제2 영상 통화 세션을 수립할 수 있다.
제2단말(210)의 통신부(203)는 상기 제2 영상 통화 세션을 통해 입력부(201)에 의해 촬영된 영상 또는 녹음된 소리를 다른 영상 통화 장치(200, 300)에 전송할 수 있다. 제2단말(210)의 출력부(204)는 상기 촬영된 영상 또는 녹음된 소리를 출력할 수 있다. 제2단말(210)의 통신부(203)는 상기 제2 영상 통화 세션을 통해 다른 영상 통화 장치(200, 300)로부터 다른 영상 통화 장치(200, 300)에 의해 촬영된 영상 또는 녹음된 소리를 수신할 수 있다. 제2단말(210)의 출력부(204)는 상기 수신된 영상 또는 소리를 출력할 수 있다.
다음으로, 상기 적어도 하나 이상의 제2 영상 통화 세션을 통해 전송되거나 수신된 영상 또는 소리 중에서 적어도 일부를 수집하는 단계(S103)가 수행될 수 있다. 상기 수신된 영상 또는 소리의 출력에 대한 응답으로, 제2단말(210)의 입력부(201)는 제2단말(210)의 사용자로부터 상기 출력된 영상 또는 소리가 불량한 요소를 포함하지 않는다는 취지의 피드백을 수신할 수 있다. 제2단말(210)의 저장부(202)는 정상 사용자에 대응하는 영상 또는 소리로서, 상기 피드백이 수신되었을 때 출력되고 있던 영상 또는 소리를 수집할 수 있다.
또한, 상기 수신된 영상 또는 소리의 출력에 대한 응답으로, 제2단말(210)의 입력부(201)는 제2단말(210)의 사용자로부터 상기 출력된 영상 또는 소리가 불량한 요소를 포함한다는 취지의 피드백을 수신할 수 있다. 예를 들어, 불량한 요소가 포함된 영상 또는 소리가 출력되면 제2단말(210)의 사용자는 터치스크린에 표시된 신고 버튼을 터치할 수 있다. 제2단말(210)의 저장부(202)는 불량 사용자에 대응하는 영상 또는 소리로서, 상기 신고 버튼이 터치되었을 때 출력되고 있던 영상 또는 소리를 수집할 수 있다.
다시 도 4를 참조하면, 다음으로, 상기 적어도 하나 이상의 영상 또는 소리, 및 각각의 상기 적어도 하나 이상의 영상 또는 소리가 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 상기 기계학습 모델을 학습시키는(train) 단계(S104)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 저장부(202)에 의해 수집된 상기 적어도 하나 이상의 영상 또는 소리, 및 각각의 상기 적어도 하나 이상의 영상 또는 소리가 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 기계학습 모델을 학습시킬 수 있다.
예를 들어, 제어부(205)는 딥 러닝(deep learning) 알고리즘을 이용하여 상기 기계학습 모델을 학습시킬 수 있다. 상기 기계학습 모델은 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN), R-CNN(Region-based Convolutional Neural Networks), 제한 볼츠만 머신 (Restricted Boltzmann Machine, RBM), 심층 신뢰 신경망 (Deep Belief Network, DBN), 또는 심층 큐 네트워크(Deep Q-Networks) 중에서 적어도 하나 이상을 포함할 수 있다.
상기 기계학습 모델은 합성곱 신경망(Convolutional Neural Network, CNN)일 수 있다. 상기 기계학습 모델은 AlexNet, ZFNet, GoogLeNet, VGGNet, ResNet, Inception-ResNet, Inception-v2, Inception-v3, 또는 Inception-v4를 포함할 수 있다.
제어부(205)는 합성곱 레이어(convolutional layer)를 이용하여 각각의 상기 적어도 하나 이상의 영상을 60 픽셀의 폭 및 80 픽셀의 높이를 갖는 RGB 포맷의 영상으로 변환할 수 있다. 제어부(205)는 각각의 상기 변환된 영상을 이용하여 Inception-v4가 포함된 기계학습 모델을 학습시킬 수 있다. 학습된 모델은 모두 4,330,627개의 변수를 포함할 수 있다. 각각의 변수의 크기는 4 바이트(byte)일 수 있다. 따라서, 학습된 모델의 크기는 적어도 17,322,508 바이트일 수 있다.
다시 도 3을 참조하면, 다음으로, 제1단말(200)과의 제1 영상 통화 세션을 수립하는 단계(S110)가 수행될 수 있다. 제2단말(210)의 통신부(203)는 상기 제1 영상 통화 세션을 수립할 수 있다.
다음으로, 상기 제1 영상 통화 세션을 통해 상기 제1단말(200)로부터 영상 또는 소리를 연속적으로 수신하는 단계(S120)가 수행될 수 있다. 제2단말(210)의 통신부(203)는 상기 제1 영상 통화 세션을 통해 영상 또는 소리를 연속적으로 수신할 수 있다. 통신부(203)는 제1단말(200)로부터 인코딩된 영상 또는 소리를 포함하는 데이터 스트림을 수신할 수 있다. 제2단말(210)의 제어부(205)는 상기 수신된 인코딩된 영상 또는 소리를 디코딩할 수 있다.
다음으로, 상기 수신된 영상 또는 소리를 연속적으로 출력하는 단계(S130)가 수행될 수 있다. 제2단말(210)의 출력부(204)에 포함된 디스플레이는 상기 수신된 영상을 연속적으로 표시할 수 있다. 출력부(204)는 제2단말(210)의 입력부(201)에 포함된 카메라에 의해 연속적으로 촬영되고 있는 제2단말(210)의 주변의 영상을 상기 수신된 영상과 함께 표시할 수 있다.
도 6 내지 도 8은 실시예에 따른 영상 통화 도중에 제2단말(210)의 사용자의 영상 및 상대방의 영상이 표시된 제2단말(210)의 정면도이다. 도 6 내지 도 8에 도시된 바와 같이, 제2단말(210)의 출력부(204)는 입력부(201)에 의해 촬영된 영상을 디스플레이의 왼쪽 하단에 배치된 사각형의 영역에 표시할 수 있다. 또한, 제2단말(210)의 출력부(204)는 통신부(203)에 의해 수신된 영상을 디스플레이의 전체 영역 중에서 상기 사각형의 영역을 제외한 나머지 영역에 표시할 수 있다.
제2단말(210)의 출력부(204)에 포함된 스피커는 상기 수신된 소리를 연속적으로 재생할 수 있다. 출력부(204)는 제2단말(210)의 입력부(201)에 포함된 마이크에 의해 연속적으로 녹음되고 있는 제2단말(210)의 주변에서 나는 소리를 상기 수신된 소리와 함께 재생할 수 있다.
다른 실시예에 따르면, 상기 수신된 영상 또는 소리를 연속적으로 출력하는 단계(S130)는 생략될 수 있다. 대신에, 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 단계(S140)가 수행된 이후에, 상기 검사 결과에 따라 제2단말(210)의 제어부(205)는 상기 수신된 영상 또는 소리가 연속적으로 출력되도록 출력부(204)를 제어할 수 있다.
다시 도 5를 참조하면, 다음으로, 상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 단계(S140)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사할 수 있다. 상기 특정한 시간은 예를 들어, 1초일 수 있다.
제어부(205)는 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 전부를 검사할 수 있다. 만약 30 FPS(Frame Per Second)로 영상이 수신되고 있는 경우, 제어부(205)는 최근의 1초 이내에 수신된 30개의 영상 전부를 검사할 수 있다.
제어부(205)는 최근의 특정한 시간 이내에 수신된 영상 또는 소리 중에서 일부를 선택할 수 있다. 제어부(205)는 상기 선택된 일부의 영상 또는 소리를 검사할 수 있다. 예를 들어, 제어부(205)는 최근의 1초 이내에 수신된 30개의 영상 중에서 임의로 1개의 영상을 선택할 수 있다. 제어부(205)는 상기 선택된 1개의 영상을 검사할 수 있다. 다른 예로서, 제어부(205)는 도 6 내지 도 8에서 디스플레이의 왼쪽 하단에 배치된 사각형의 영역을 제외한 나머지 영역에 표시된 제1단말(200)의 사용자의 영상을 검사할 수 있다.
제어부(205)는 상기 최근의 특정한 시간 이내에 수신된 영상의 상기 적어도 일부로부터 특정한 부분을 검출할 수 있다. 제어부(205)는 상기 특정한 부분으로서, 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 부분을 검출할 수 있다. 예를 들어, 제어부(205)는 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상에 대응하는 부분을 검출할 수 있다.
제어부(205)는 상기 최근의 특정한 시간 이내에 수신된 소리의 상기 적어도 일부로부터 특정한 부분을 검출할 수 있다. 제어부(205)는 상기 특정한 부분으로서, 특정한 음성 또는 언어에 대응하는 부분을 검출할 수 있다. 예를 들어, 제어부(205)는 욕설, 모욕, 인종차별, 명예훼손, 외설, 성희롱, 반사회적 행위, 반인륜적 행위, 테러, 증오언설(hate speech), 폭력, 학대, 마약, 위협 중에서 적어도 하나 이상에 관련된 언어에 대응하는 부분을 검출할 수 있다.
제2단말(210)의 제어부(205)는 상기 특정한 부분을 검출함으로써 제1단말(200)의 사용자가 불량 사용자인지 여부를 산출할 수 있다. 상기 검사의 대상이 된 영상 또는 소리로부터 상기 특정한 부분이 검출된 경우, 제어부(205)는 제1단말(200)의 사용자가 불량 사용자라고 판정할 수 있다. 상기 검사의 대상이 된 영상 또는 소리로부터 상기 특정한 부분이 검출되지 않은 경우, 제어부(205)는 제1단말(200)의 사용자가 정상 사용자라고 판정할 수 있다.
다른 실시예에 따르면, 제어부(205)는 상기 준비된 상관관계에 대한 정보 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1단말(200)의 사용자가 불량 사용자인지 여부를 산출할 수 있다. 제어부(205)는 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부에 포함된 특징점을 추출할 수 있다. 제어부(205)는 상기 추출된 특징점 및 상기 준비된 상관관계에 대한 정보를 이용하여 제1단말(200)의 사용자가 불량 사용자인지 여부를 산출할 수 있다.
예를 들어, 상기 준비된 상관관계에 대한 정보는 상기 목록을 포함할 수 있다. 제어부(205)는 상기 목록에 포함된 적어도 하나 이상의 항목에 대응하는 특징점 및 상기 추출된 특징점을 서로 비교할 수 있다. 상기 적어도 하나 이상의 항목에 대응하는 특징점 중에서, 상기 추출된 특징점과 서로 동일한 특징점이 존재하는 경우, 제어부(205)는 상기 검사의 대상이 된 영상 또는 소리는 불량한 요소를 포함한다고 판정할 수 있다. 또한, 제어부(205)는 제1단말(200)의 사용자가 불량 사용자라고 판정할 수 있다.
다른 예로서, 상기 준비된 상관관계에 대한 정보는 상기 표를 포함할 수 있다. 제어부(205)는 상기 표에 포함된 적어도 하나 이상의 레코드에 대응하는 특징점 및 상기 추출된 특징점을 서로 비교할 수 있다. 상기 표에 포함된 레코드 중에서 상기 추출된 특징점에 대응하는 레코드가 존재하고, 상기 추출된 특징점이 불량한 요소에 대응한다는 정보가 상기 레코드 내에 포함되어 있는 경우, 제어부(205)는 상기 검사의 대상이 된 영상 또는 소리는 불량한 요소를 포함한다고 판정할 수 있다. 또한, 제어부(205)는 제1단말(200)의 사용자가 불량 사용자라고 판정할 수 있다.
또 다른 예로서, 상기 준비된 상관관계에 대한 정보는 상기 기계학습 모델을 포함할 수 있다. 제어부(205)는 상기 준비된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1단말(200)의 사용자가 불량 사용자인지 여부를 예측(predict)할 수 있다.
예를 들어, 제어부(205)는 합성곱 레이어(convolutional layer)를 이용하여 상기 검사의 대상이 된 영상을 60 픽셀의 폭 및 80 픽셀의 높이를 갖는 RGB 포맷의 영상으로 변환할 수 있다. 제어부(205)는 상기 변환된 영상을 상기 기계학습 모델의 입력값으로서 이용할 수 있다. 제어부(205)는 상기 기계학습 모델을 실행(run)할 수 있다.
상기 실행의 결과로서, 상기 기계학습 모델의 출력 레이어(output layer)로부터 결과값이 산출될 수 있다. 상기 결과값은 예를 들어, 3개의 숫자값을 포함하는 벡터(vector)일 수 있다. 상기 3개의 숫자값은 각각 상기 검사의 대상이 된 영상이 불량한 요소를 포함하지 않을 확률, 상기 검사의 대상이 된 영상이 불량한 요소를 포함할 확률, 및 상기 검사의 대상이 된 영상이 상의를 탈의한 제1단말(200)의 사용자의 모습을 포함할 확률에 대응할 수 있다.
만약 상기 3개의 숫자값 중에서 가장 큰 값이 첫번째 숫자값인 경우, 제어부(205)는 제1단말(200)의 사용자를 정상 사용자라고 판정할 수 있다. 예를 들어, 도 6에서 디스플레이의 왼쪽 하단에 배치된 사각형의 영역을 제외한 나머지 영역에 표시된 제1단말(200)의 사용자의 영상이 검사된 경우, 상기 3개의 숫자값 중에서 가장 큰 값은 첫번째 숫자값일 수 있다. 제어부(205)는 제1단말(200)의 사용자를 정상 사용자라고 판정할 수 있다.
만약 상기 3개의 숫자값 중에서 가장 큰 값이 두번째 숫자값 또는 세번째 숫자값인 경우, 제어부(205)는 제1단말(200)의 사용자를 불량 사용자라고 판정할 수 있다. 예를 들어, 도 7에서 디스플레이의 왼쪽 하단에 배치된 사각형의 영역을 제외한 나머지 영역에 표시된 제1단말(200)의 사용자의 영상이 검사된 경우, 상기 3개의 숫자값 중에서 가장 큰 값은 두번째 숫자값일 수 있다. 제어부(205)는 제1단말(200)의 사용자를 불량 사용자라고 판정할 수 있다.
다시 도 3을 참조하면, 다음으로, 상기 검사하는 단계(S140)를 적어도 한 번 이상 반복하는 단계(S150)가 수행될 수 있다. 제2단말(210)의 제어부(205)는 가장 최근의 검사를 수행한 후에, 가장 최근의 검사의 대상이 된 영상 또는 소리보다 더 나중에 수신된 영상 또는 소리를 대상으로 하여 검사를 수행할 수 있다. 예를 들어, 제어부(205)는 최초로 검사를 수행한 후에 4번의 검사를 추가적으로 수행할 수 있다. 다시 말해서, 제어부(205)는 서로 1초의 간격을 두고 수신된 5개의 영상 또는 소리를 각각 검사할 수 있다. 각각의 검사 결과는 누적될 수 있다. 예를 들어, 5개의 영상 모두에서 불량한 요소에 대응하는 부분이 검출된 경우, 누적 횟수는 5회일 수 있다.
다른 실시예에 따르면, 상기 반복하는 단계(S150)는 생략될 수 있다.
다음으로, 상기 검사 결과에 따라, 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하거나 상기 제1단말(200)의 사용자를 불량 사용자로서 서버(100)에 신고하는 단계(S160)가 수행될 수 있다. 만약 상기 검사 결과 제1단말(200)의 사용자가 정상 사용자라고 판정된 경우, 제어부(205)는 상기 수신된 영상 또는 소리가 연속적으로 출력되도록 출력부(204)를 제어할 수 있다.
만약 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 제어부(205)는 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력이 차단되도록 출력부(204)를 제어할 수 있다. 다른 실시예에 따르면, 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 제어부(205)는 상기 제1단말(200)의 사용자를 불량 사용자로서 서버(100)에 신고하도록 통신부(203)를 제어할 수 있다. 또 다른 실시예에 따르면, 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력이 차단되고, 상기 제1단말(200)의 사용자가 불량 사용자로서 서버(100)에 신고될 수 있다.
또 다른 실시예에 따르면, 상기 제1 영상 통화 세션이 수립된 이후에 상기 특정한 부분이 검출된 누적 횟수가 제1횟수 이상인 경우, 제어부(205)는 출력부(204)가 상기 적어도 일부의 출력을 차단하거나 통신부(203)가 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다. 상기 제1횟수는 예를 들어, 1회 또는 5회일 수 있다. 또 다른 실시예에 따르면, 상기 제1 영상 통화 세션이 수립된 이후에 상기 제1단말(200)의 사용자가 불량 사용자라고 판정된 누적 횟수가 상기 제1횟수 이상인 경우, 제어부(205)는 출력부(204)가 상기 적어도 일부의 출력을 차단하거나 통신부(203)가 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다.
또 다른 실시예에 따르면, 상기 특정한 부분이 연속으로 검출된 횟수가 제2횟수 이상인 경우, 제어부(205)는 출력부(204)가 상기 적어도 일부의 출력을 차단하거나 통신부(203)가 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다. 상기 제2횟수는 예를 들어, 1회 또는 5회일 수 있다. 또 다른 실시예에 따르면, 상기 제1단말(200)의 사용자가 불량 사용자라고 연속으로 판정된 횟수가 상기 제2횟수 이상인 경우, 제어부(205)는 출력부(204)가 상기 적어도 일부의 출력을 차단하거나 통신부(203)가 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다.
상기와 같이, 누적 횟수 또는 연속으로 판정된 횟수가 특정한 횟수 이상인 경우에 한해 출력이 차단되거나 제1단말(200)의 사용자가 신고됨으로써, 검사 결과에서 발생할 수 있는 간헐적인 판정 오류가 용인될 수 있다. 또한, 이로써 제2단말(210)의 보다 안정적인 동작이 확보될 수 있다.
다음으로, 상기 검사하는 단계(S140) 내지 상기 차단하거나 신고하는 단계(S160)를 일정하거나 일정하지 않은 주기마다 반복하는 단계(S170)가 수행될 수 있다. 예를 들어, 제어부(205)는 가장 최근에 상기 검사하는 단계(S140) 내지 상기 차단하거나 신고하는 단계(S160)를 수행한 후에, 적어도 10초가 지난 다음에 상기 검사하는 단계(S140) 내지 상기 차단하거나 신고하는 단계(S160)를 반복할 수 있다. 이로써 상기 제1단말(200)로부터 연속적으로 수신되고 있는 영상 또는 소리에 불량한 요소가 포함되어 있는지 여부가 꾸준히 검사될 수 있다.
상기와 같은 실시예에 따르면, 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것이 방지될 수 있다. 또한, 영상 통화 중인 사용자가 상대방으로부터의 영상 또는 소리에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다. 또한, 사용자 간의 건전한 영상 통화가 유도될 수 있다.
도 9는 다른 실시예에 따른 제1단말(200)에 의한 영상 통화 방법이 수행되는 과정을 나타내는 순서도이다. 도 9를 참조하면, 먼저, 상기 제1단말(200)이 임의의 사용자의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점(feature) 및 상기 임의의 사용자가 불량 사용자인지 여부 사이의 상관관계에 대응하는 기계학습 모델을 서버(100)로부터 수신하는 단계(S200)가 수행될 수 있다.
제1단말(200)의 저장부(202)는 상기 상관관계에 대한 정보를 준비할 수 있다. 제1단말(200)의 저장부(202)는 상기 상관관계에 대한 정보를 포함하는 목록, 표, 데이터베이스, 또는 기계학습(machine learning) 모델 중에서 적어도 하나 이상을 준비할 수 있다.
제1단말(200)의 저장부(202)는 상기 상관관계에 대응하는 기계학습 모델을 준비할 수 있다. 제1단말(200)의 통신부(203)는 상기 기계학습 모델을 서버(100) 또는 별개의 서버로부터 수신할 수 있다. 제1단말(200)의 저장부(202)는 상기 수신된 기계학습 모델을 저장할 수 있다. 다른 실시예에 따르면, 제1단말(200)의 제어부(205)는 상기 기계학습 모델을 스스로 학습시키고, 제1단말(200)의 저장부(202)는 상기 학습된 기계학습 모델을 저장할 수 있다.
제1단말(200)의 저장부(202)는 정상 사용자 또는 불량 사용자에 대응하는 적어도 하나 이상의 영상 또는 소리를 준비할 수 있다. 제1단말(200)의 제어부(205)는 상기 적어도 하나 이상의 영상 또는 소리, 및 각각의 상기 적어도 하나 이상의 영상 또는 소리가 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 기계학습 모델을 학습시킬 수 있다.
다음으로, 제1단말(200)이 제2단말(210)과의 영상 통화 세션을 수립하는 단계(S210)가 수행될 수 있다. 제1단말(200)의 통신부(203)는 제2단말(210)과의 영상 통화 세션을 수립할 수 있다.
다음으로, 상기 제1단말(200)이 상기 제1단말(200)의 주변의 영상을 연속적으로 촬영하거나 상기 주변에서 나는 소리를 연속적으로 녹음하는 단계(S220)가 수행될 수 있다. 제1단말(200)의 입력부(201)에 포함된 카메라는 제1단말(200)의 주변의 영상을 연속적으로 촬영할 수 있다. 제1단말(200)의 입력부(201)에 포함된 마이크는 상기 주변에서 나는 소리를 연속적으로 녹음할 수 있다. 제1단말(200)의 저장부(202)는 상기 촬영된 영상 또는 녹음된 소리를 저장할 수 있다.
다음으로, 상기 제1단말(200)이 상기 영상 통화 세션을 통해 상기 제2단말(210)에 상기 촬영된 영상 또는 녹음된 소리를 연속적으로 전송하는 단계(S230)가 수행될 수 있다. 제1단말(200)의 통신부(203)는 상기 촬영된 영상 또는 녹음된 소리를 연속적으로 전송할 수 있다. 또한, 동시에 통신부(203)는 제2단말(210)로부터 영상 또는 소리를 연속적으로 수신할 수 있다. 출력부(204)는 상기 촬영된 영상을 상기 수신된 영상과 함께 표시할 수 있다. 출력부(204)는 상기 녹음된 소리를 상기 수신된 소리와 함께 재생할 수 있다.
다른 실시예에 따르면, 상기 촬영된 영상 또는 녹음된 소리를 연속적으로 전송하는 단계(S230)는 생략될 수 있다. 대신에, 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 적어도 일부를 검사하는 단계(S240)가 수행된 이후에, 상기 검사 결과에 따라 제1단말(200)의 제어부(205)는 상기 촬영된 영상 또는 녹음된 소리가 연속적으로 전송되도록 통신부(203)를 제어할 수 있다.
다음으로, 상기 제1단말(200)이 상기 촬영된 영상 또는 녹음된 소리 중에서 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 적어도 일부를 검사하는 단계(S240)가 수행될 수 있다. 제1단말(200)의 제어부(205)는 상기 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 상기 적어도 일부로부터 특정한 부분을 검출할 수 있다. 상기 특정한 시간은 예를 들어, 1초일 수 있다.
제어부(205)는 상기 준비된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 촬영된 영상 또는 녹음된 소리의 상기 적어도 일부를 이용하여 상기 제1단말(200)의 사용자가 불량 사용자인지 여부를 예측(predict)할 수 있다. 예를 들어, 제어부(205)는 합성곱 레이어(convolutional layer)를 이용하여 상기 검사의 대상이 된 영상을 60 픽셀의 폭 및 80 픽셀의 높이를 갖는 RGB 포맷의 영상으로 변환할 수 있다. 제어부(205)는 상기 변환된 영상을 상기 기계학습 모델의 입력값으로서 이용할 수 있다. 제어부(205)는 상기 기계학습 모델을 실행(run)할 수 있다.
상기 실행의 결과로서, 상기 기계학습 모델의 출력 레이어(output layer)로부터 결과값이 산출될 수 있다. 상기 결과값은 예를 들어, 3개의 숫자값을 포함하는 벡터(vector)일 수 있다. 상기 3개의 숫자값은 각각 상기 검사의 대상이 된 영상이 불량한 요소를 포함하지 않을 확률, 상기 검사의 대상이 된 영상이 불량한 요소를 포함할 확률, 및 상기 검사의 대상이 된 영상이 상의를 탈의한 제1단말(200)의 사용자의 모습을 포함할 확률에 대응할 수 있다.
만약 상기 3개의 숫자값 중에서 가장 큰 값이 첫번째 숫자값인 경우, 제어부(205)는 제1단말(200)의 사용자를 정상 사용자라고 판정할 수 있다. 예를 들어, 도 6에서 디스플레이의 왼쪽 하단에 배치된 사각형의 영역에 표시된 제1단말(200)의 사용자의 영상이 검사된 경우, 상기 3개의 숫자값 중에서 가장 큰 값은 첫번째 숫자값일 수 있다. 제어부(205)는 제1단말(200)의 사용자를 정상 사용자라고 판정할 수 있다.
만약 상기 3개의 숫자값 중에서 가장 큰 값이 두번째 숫자값 또는 세번째 숫자값인 경우, 제어부(205)는 제1단말(200)의 사용자를 불량 사용자라고 판정할 수 있다. 도 8은 실시예에 따른 영상 통화 도중에 제1단말(200)의 사용자의 영상 및 제2단말(210)의 사용자의 영상이 표시된 제1단말(200)의 정면도이다. 예를 들어, 도 8에서 디스플레이의 왼쪽 하단에 배치된 사각형의 영역에 표시된 제1단말(200)의 사용자의 영상이 검사된 경우, 상기 3개의 숫자값 중에서 가장 큰 값은 세번째 숫자값일 수 있다. 제어부(205)는 제1단말(200)의 사용자를 불량 사용자라고 판정할 수 있다.
다음으로, 상기 제1단말(200)이 상기 검사하는 단계(S240)를 적어도 한 번 이상 반복하는 단계(S250)가 수행될 수 있다. 제1단말(200)의 제어부(205)는 가장 최근의 검사를 수행한 후에, 가장 최근의 검사의 대상이 된 영상 또는 소리보다 더 나중에 수신된 영상 또는 소리를 대상으로 하여 검사를 수행할 수 있다. 예를 들어, 제어부(205)는 최초로 검사를 수행한 후에 4번의 검사를 추가적으로 수행할 수 있다. 다시 말해서, 제어부(205)는 서로 1초의 간격을 두고 수신된 5개의 영상 또는 소리를 각각 검사할 수 있다. 각각의 검사 결과는 누적될 수 있다. 예를 들어, 5개의 영상 모두에서 불량한 요소에 대응하는 부분이 검출된 경우, 누적 횟수는 5회일 수 있다.
다른 실시예에 따르면, 상기 반복하는 단계(S250)는 생략될 수 있다.
다음으로, 상기 검사 결과에 따라, 상기 제1단말(200)이 상기 촬영된 영상 또는 녹음된 소리 중에서 적어도 일부의 상기 영상 통화 세션을 통한 전송을 차단하거나 상기 제1단말(200)의 사용자를 불량 사용자로서 서버(100)에 신고하는 단계(S260)가 수행될 수 있다. 만약 상기 검사 결과 제1단말(200)의 사용자가 정상 사용자라고 판정된 경우, 제어부(205)는 상기 촬영된 영상 또는 녹음된 소리가 연속적으로 전송되도록 통신부(203)를 제어할 수 있다.
만약 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 제어부(205)는 상기 촬영된 영상 또는 녹음된 소리 중에서 적어도 일부의 전송이 차단되도록 통신부(203)를 제어할 수 있다. 다른 실시예에 따르면, 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 제어부(205)는 상기 제1단말(200)의 사용자를 불량 사용자로서 서버(100)에 신고하도록 통신부(203)를 제어할 수 있다. 또 다른 실시예에 따르면, 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 상기 촬영된 영상 또는 녹음된 소리 중에서 적어도 일부의 전송이 차단되고, 상기 제1단말(200)의 사용자가 불량 사용자로서 서버(100)에 신고될 수 있다.
또 다른 실시예에 따르면, 상기 영상 통화 세션이 수립된 이후에 상기 특정한 부분이 검출된 누적 횟수가 제1횟수 이상인 경우, 제어부(205)는 통신부(203)가 상기 적어도 일부의 전송을 차단하거나 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다. 상기 제1횟수는 예를 들어, 1회 또는 5회일 수 있다. 또 다른 실시예에 따르면, 상기 영상 통화 세션이 수립된 이후에 상기 제1단말(200)의 사용자가 불량 사용자라고 판정된 누적 횟수가 상기 제1횟수 이상인 경우, 제어부(205)는 통신부(203)가 상기 적어도 일부의 출력을 차단하거나 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다.
또 다른 실시예에 따르면, 상기 특정한 부분이 연속으로 검출된 횟수가 제2횟수 이상인 경우, 제어부(205)는 통신부(203)가 상기 적어도 일부의 전송을 차단하거나 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다. 상기 제2횟수는 예를 들어, 1회 또는 5회일 수 있다. 또 다른 실시예에 따르면, 상기 제1단말(200)의 사용자가 불량 사용자라고 연속으로 판정된 횟수가 상기 제2횟수 이상인 경우, 제어부(205)는 통신부(203)가 상기 적어도 일부의 전송을 차단하거나 상기 제1단말(200)의 사용자를 신고하도록 제어할 수 있다.
상기와 같이, 누적 횟수 또는 연속으로 판정된 횟수가 특정한 횟수 이상인 경우에 한해 전송이 차단되거나 제1단말(200)의 사용자가 신고됨으로써, 검사 결과에서 발생할 수 있는 간헐적인 판정 오류가 용인될 수 있다. 또한, 이로써 제1단말(200)의 보다 안정적인 동작이 확보될 수 있다.
다음으로, 상기 검사하는 단계(S240) 내지 상기 차단하거나 신고하는 단계(S260)를 일정하거나 일정하지 않은 주기마다 반복하는 단계(S270)가 수행될 수 있다. 예를 들어, 제어부(205)는 가장 최근에 상기 검사하는 단계(S240) 내지 상기 차단하거나 신고하는 단계(S260)를 수행한 후에, 적어도 10초가 지난 다음에 상기 검사하는 단계(S240) 내지 상기 차단하거나 신고하는 단계(S260)를 반복할 수 있다. 이로써 상기 제1단말(200)이 연속적으로 전송하고 있는 영상 또는 소리에 불량한 요소가 포함되어 있는지 여부가 꾸준히 검사될 수 있다.
상기와 같은 실시예에 따르면, 영상 통화 중인 사용자가 상대방에게 부적절한 영상 또는 소리를 전송하는 것이 방지될 수 있다. 또한, 사용자 간의 건전한 영상 통화가 유도될 수 있다.
도 10은 실시예에 따른 영상 통화 중개 방법이 수행되는 과정을 나타내는 순서도이다. 도 10을 참조하면, 먼저, 서버(100)가 복수의 단말로부터 중개 요청을 수신하는 단계(S300)가 수행될 수 있다.
다음으로, 상기 서버(100)가 상기 복수의 단말 중에서 제1단말(200) 및 제2단말(210) 사이의 영상 통화 연결을 중개하는 단계(S310)가 수행될 수 있다. 서버(100)는 상기 복수의 단말 중에서 제1단말(200) 및 제2단말(210)을 선택할 수 있다. 서버(100)는 상기 선택된 제1단말(200) 및 제2단말(210) 사이의 영상 통화 연결을 중개할 수 있다. 예를 들어, 서버(100)는 제1단말(200)에 대한 연결 정보를 제2단말(210)에 전송할 수 있다. 다른 예로서, 서버(100)는 제2단말(210)에 대한 연결 정보를 제1단말(200)에 전송할 수 있다.
다음으로, 상기 서버(100)가 상기 제1단말(200)로부터 상기 제1단말(200)이 촬영한 상기 제1단말(200)의 주변의 영상, 상기 제1단말(200)이 녹음한 상기 제1단말(200)의 주변에서 나는 소리, 상기 제1단말(200)이 상기 제2단말(210)로부터 수신한 영상, 또는 상기 제1단말(200)이 상기 제2단말(210)로부터 수신한 소리에 대한 상기 제1단말(200)의 검사 결과로서 상기 제1단말(200)의 사용자 또는 상기 제2단말(210)의 사용자가 불량 사용자라는 신고를 수신하는 단계(S320)가 수행될 수 있다.
제1단말(200)은 제1단말(200)이 촬영한 영상 또는 녹음한 소리를 검사할 수 있다. 상기 검사 결과 제1단말(200)의 사용자가 불량 사용자라고 판정된 경우, 제1단말(200)은 제1단말(200)의 사용자가 불량 사용자라는 신고를 서버(100)에 전송할 수 있다.
또한, 제1단말(200)은 제2단말(210)로부터 수신한 영상 또는 소리를 검사할 수 있다. 상기 검사 결과 제2단말(210)의 사용자가 불량 사용자라고 판정된 경우, 제1단말(200)은 제2단말(210)의 사용자가 불량 사용자라는 신고를 서버(100)에 전송할 수 있다.
다음으로, 상기 서버(100)가 상기 신고에 대한 응답으로 상기 신고된 사용자의 단말 및 감시 요원의 단말 사이의 영상 통화 연결을 중개하는 단계(S330)가 수행될 수 있다. 예를 들어, 제1단말(200)로부터 제1단말(200)의 사용자가 불량 사용자라는 신고를 수신한 경우를 가정하기로 한다. 서버(100)는 상기 신고에 대한 응답으로 제1단말(200) 및 제3단말(300) 사이의 영상 통화 연결을 중개할 수 있다. 상기 제3단말(300)은 감시 요원의 단말일 수 있다. 다시 말해서, 상기 제3단말(300)의 사용자는 감시 요원일 수 있다.
다음으로, 상기 서버(100)가 상기 감시 요원의 단말로부터 상기 신고된 사용자에 대한 검증 결과를 수신하는 단계(S340)가 수행될 수 있다. 상기 제3단말(300)의 사용자는 상기 제1단말(200)의 사용자와의 영상 통화를 수행한 후에, 상기 제1단말(200)의 사용자가 불량 사용자인지 여부에 대한 정보를 제3단말(300)에 입력할 수 있다. 제3단말(300)은 상기 제1단말(200)의 사용자에 대한 검증 결과로서 상기 입력된 정보를 서버(100)에 전송할 수 있다.
다음으로, 상기 서버(100)가 상기 수신된 검증 결과에 따라, 상기 신고된 사용자의 단말로부터의 추가적인 중개 요청을 거절하는 단계(S350)가 수행될 수 있다. 만약 상기 제1단말(200)의 사용자가 불량 사용자가 아니라고 검증된 경우, 서버(100)는 제1단말(200)로부터의 추가적인 중개 요청에 대한 응답으로 제1단말(200) 및 다른 단말 사이의 영상 통화 연결을 중개할 수 있다. 만약 상기 제1단말(200)의 사용자가 불량 사용자라고 검증된 경우, 서버(100)는 제1단말(200)로부터의 추가적인 중개 요청을 거절할 수 있다.
상기와 같은 실시예에 따르면, 불량 사용자라고 검증된 사용자의 단말로부터의 영상 통화 중개 요청이 거절됨으로써 사용자 간의 건전한 영상 통화가 유도될 수 있다.
이상에서 설명된 실시예에 따르면, 영상 통화 중인 사용자가 상대방으로부터의 부적절한 영상 또는 소리에 노출되는 것이 방지될 수 있다. 또한, 영상 통화 중인 사용자가 상대방에게 부적절한 영상 또는 소리를 전송하는 것이 방지될 수 있다. 또한, 영상 통화 중인 사용자가 상대방으로부터의 영상 또는 소리에 의해 느낄 수 있는 성적 수치심 또는 불쾌함이 방지될 수 있다. 또한, 사용자 간의 건전한 영상 통화가 유도될 수 있다.
이상에서 설명된 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
또한, 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독 가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함할 수 있다.
이상에서 첨부된 도면을 참조하여 본 발명의 실시예들을 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다.
100: 서버
200: 제1 영상 통화 장치, 제1단말
201: 입력부
202: 저장부
203: 통신부
204: 출력부
205: 제어부
210: 제2 영상 통화 장치, 제2단말
300: 제3 영상 통화 장치, 제3단말

Claims (22)

  1. 임의의 사용자의 영상 또는 소리에 포함된 적어도 하나 이상의 특징점(feature) 및 상기 임의의 사용자가 불량 사용자인지 여부 사이의 상관관계에 대한 정보를 준비하는 단계;
    제1단말과의 제1 영상 통화 세션을 수립하는 단계;
    상기 제1 영상 통화 세션을 통해 상기 제1단말로부터 영상 또는 소리를 연속적으로 수신하는 단계;
    상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 단계;
    상기 준비된 상관관계에 대한 정보 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1 단말의 사용자가 불량 사용자인지 여부를 산출하는 단계; 및
    상기 검사 결과에 따라, 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하거나 상기 제1단말의 사용자를 불량(abusive) 사용자로서 제1서버에 신고하는 단계
    를 포함하고,
    상기 준비된 상관관계에 대한 정보는 적어도 하나 이상의 영상 또는 소리가 정상 사용자 또는 불량 사용자에 대응하는지 여부에 대한 정보를 이용하여 학습되는 기계학습 모델을 포함하며,
    상기 기계학습 모델은 그 실행의 결과로, 검사 대상 영상 또는 소리가 불량한 요소를 포함할 확률, 상기 검사 대상 영상 또는 소리가 불량한 요소를 포함하지 않을 확률, 및 상기 검사 대상 영상 또는 소리가 특정한 불량한 요소를 포함할 확률에 대응하는 결과값을 산출하되,
    상기 정상 사용자 또는 불량 사용자에 대응하는지 여부에 대한 정보는 제2 영상 통화 세션이 수립된 동안 획득되는 피드백에 기반하여 생성되며,
    상기 산출하는 단계에서는 상기 각 확률의 크기를 고려하여 상기 제1 단말의 사용자가 불량 사용자인지 여부를 산출하는 영상 통화 방법.
  2. 제1항에 있어서,
    상기 검사하는 단계는,
    상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부로부터 특정한 부분을 검출하는 단계
    를 포함하는 영상 통화 방법.
  3. 제2항에 있어서,
    상기 특정한 부분을 검출하는 단계는,
    상기 최근의 특정한 시간 이내에 수신된 영상의 상기 적어도 일부로부터 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 부분을 검출하는 단계
    를 포함하는 영상 통화 방법.
  4. 제3항에 있어서,
    상기 특정한 표정, 보디랭귀지, 또는 신체 부위에 대응하는 상기 부분을 검출하는 단계는,
    상기 최근의 특정한 시간 이내에 수신된 영상의 상기 적어도 일부로부터 욕 제스처, 모욕 제스처, 인종차별 제스처, 성적 컨텐츠, 알몸 노출(nudity), 성기, 성행위, 비위생적 컨텐츠, 배설물, 배설 행위, 반사회적 컨텐츠, 반인륜적 컨텐츠, 불법 행위, 범죄 행위, 증오범죄(hate crime), 폭력 행위, 학대 행위, 자해 행위, 무기, 마약, 반사회적 심볼, 혐오성(hateful) 컨텐츠, 위협성 컨텐츠, 공포증 유발(phobia-inducing) 컨텐츠, 또는 혈액 중에서 적어도 하나 이상에 대응하는 부분을 검출하는 단계
    를 포함하는 영상 통화 방법.
  5. 제2항에 있어서,
    상기 검사하는 단계는,
    상기 최근의 특정한 시간 이내에 수신된 소리의 상기 적어도 일부로부터 특정한 음성 또는 언어에 대응하는 부분을 검출하는 단계
    를 포함하는 영상 통화 방법.
  6. 제5항에 있어서,
    상기 특정한 음성 또는 언어에 대응하는 상기 부분을 검출하는 단계는,
    상기 최근의 특정한 시간 이내에 수신된 소리의 상기 적어도 일부로부터 욕설, 모욕, 인종차별, 명예훼손, 외설, 성희롱, 반사회적 행위, 반인륜적 행위, 테러, 증오언설(hate speech), 폭력, 학대, 마약, 위협 중에서 적어도 하나 이상에 관련된 언어에 대응하는 부분을 검출하는 단계
    를 포함하는 영상 통화 방법.
  7. 제2항에 있어서,
    상기 검사하는 단계 이후 및 상기 차단하거나 신고하는 단계 이전에,
    상기 검사하는 단계를 적어도 한 번 이상 반복하는 단계
    를 더 포함하고,
    상기 차단하거나 신고하는 단계는,
    상기 제1 영상 통화 세션이 수립된 이후에 상기 특정한 부분이 검출된 누적 횟수가 제1횟수 이상이거나 또는 상기 특정한 부분이 연속으로 검출된 횟수가 제2횟수 이상인 경우, 상기 수신된 영상 또는 소리 중에서 상기 적어도 일부의 출력을 차단하거나 상기 제1단말의 사용자를 신고하는 단계
    를 포함하는 영상 통화 방법.
  8. 제1항에 있어서,
    상기 검사하는 단계 내지 상기 차단하거나 신고하는 단계를 일정하거나 일정하지 않은 주기마다 반복하는 단계
    를 더 포함하는 영상 통화 방법.
  9. 제1항에 있어서,
    상기 수신하는 단계 이후에,
    상기 수신된 영상 또는 소리를 연속적으로 출력하는 단계
    를 더 포함하는 영상 통화 방법.
  10. 삭제
  11. 제1항에 있어서,
    상기 상관관계에 대한 정보를 준비하는 단계는,
    상기 상관관계에 대응하는 기계학습 모델을 준비하는 단계
    를 포함하고,
    상기 검사하는 단계는,
    상기 준비된 기계학습 모델 및 상기 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 상기 적어도 일부를 이용하여 상기 제1단말의 사용자가 불량 사용자인지 여부를 예측하는(predict) 단계
    를 포함하는 영상 통화 방법.
  12. 제11항에 있어서,
    상기 기계학습 모델을 준비하는 단계는,
    제2서버로부터 상기 기계학습 모델을 수신하는 단계
    를 포함하는 영상 통화 방법.
  13. 삭제
  14. 삭제
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 제1항의 영상 통화 방법을 컴퓨터에서 실행시키는 프로그램이 기록된 컴퓨터 판독 가능 기록 매체.
  21. 단말과의 영상 통화 세션을 수립하고, 상기 영상 통화 세션을 통해 상기 단말로부터 영상 또는 소리를 연속적으로 수신하는 통신부;
    상기 수신된 영상 또는 소리를 연속적으로 출력하는 출력부;
    상기 수신된 영상 또는 소리의 출력에 대한 응답으로 상기 출력된 영상 또는 소리가 불량한지 여부에 대한 피드백을 수신하는 입력부;
    상기 피드백이 수신되는 시점에 출력된 영상 또는 소리를 수집하는 저장부; 및
    상기 저장부에 의해 수집된 정보를 이용하여 학습된 기계학습 모델을 활용하여 상기 수신된 영상 또는 소리 중에서 최근의 특정한 시간 이내에 수신된 영상 또는 소리의 적어도 일부를 검사하는 제어부
    를 포함하고,
    상기 검사 결과에 따라, 상기 제어부는 상기 출력부가 상기 수신된 영상 또는 소리 중에서 적어도 일부의 출력을 차단하도록 제어하거나 상기 통신부가 상기 단말의 사용자를 불량(abusive) 사용자로서 서버에 신고하도록 제어하며,
    상기 기계학습 모델은 그 실행의 결과로, 검사 대상 영상 또는 소리가 불량한 요소를 포함할 확률, 상기 검사 대상 영상 또는 소리가 불량한 요소를 포함하지 않을 확률, 및 상기 검사 대상 영상 또는 소리가 특정한 불량한 요소를 포함할 확률에 대응하는 결과값을 산출하되,
    상기 제어부는 상기 각 확률의 크기를 고려하여 상기 단말의 사용자가 불량 사용자인지 여부를 판단하는 영상 통화 장치.
  22. 삭제
KR1020170048893A 2017-04-17 2017-04-17 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법 Active KR101932844B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020170048893A KR101932844B1 (ko) 2017-04-17 2017-04-17 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
US16/605,657 US10965907B2 (en) 2017-04-17 2018-01-17 Video communication device, video communication method, and video communication mediating method
PCT/KR2018/000787 WO2018194243A1 (en) 2017-04-17 2018-01-17 Video communication device, video communication method, and video communication mediating method
US17/183,890 US11323659B2 (en) 2017-04-17 2021-02-24 Video communication device, video communication method, and video communication mediating method
US17/659,130 US11722638B2 (en) 2017-04-17 2022-04-13 Video communication device, video communication method, and video communication mediating method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170048893A KR101932844B1 (ko) 2017-04-17 2017-04-17 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법

Publications (2)

Publication Number Publication Date
KR20180116520A KR20180116520A (ko) 2018-10-25
KR101932844B1 true KR101932844B1 (ko) 2018-12-27

Family

ID=63856376

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170048893A Active KR101932844B1 (ko) 2017-04-17 2017-04-17 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법

Country Status (3)

Country Link
US (3) US10965907B2 (ko)
KR (1) KR101932844B1 (ko)
WO (1) WO2018194243A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12167088B2 (en) 2021-03-22 2024-12-10 Hyperconnect Inc. Method and apparatus for providing video stream based on machine learning

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
CN110163050B (zh) 2018-07-23 2022-09-27 腾讯科技（深圳）有限公司 一种视频处理方法及装置、终端设备、服务器及存储介质
CN109982124A (zh) * 2019-03-26 2019-07-05 深圳创维－Rgb电子有限公司 用户场景智能分析方法、装置和存储介质
KR102282963B1 (ko) * 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
WO2021025574A1 (ru) * 2019-08-05 2021-02-11 Марк Александрович НЕЧАЕВ Модераия аудио- и видеозвонков
KR102311603B1 (ko) * 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
WO2021078565A1 (en) * 2019-10-24 2021-04-29 Signify Holding B.V. System and method for space monitoring
KR102287704B1 (ko) * 2020-01-31 2021-08-10 주식회사 하이퍼커넥트 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체
KR102293422B1 (ko) * 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
EP3872779A1 (en) 2020-02-27 2021-09-01 Axis AB Method, software, and device for training an alarm system to classify audio of an event
KR20210115442A (ko) 2020-03-13 2021-09-27 주식회사 하이퍼커넥트 신고 평가 장치 및 그것의 동작 방법
TWI757940B (zh) * 2020-10-29 2022-03-11 宏碁股份有限公司 視訊會議系統及其排除打擾的方法
US11838684B2 (en) * 2021-01-26 2023-12-05 Dell Products, Lp System and method for operating an intelligent videoframe privacy monitoring management system for videoconferencing applications
WO2022191848A1 (en) * 2021-03-11 2022-09-15 Hewlett-Packard Development Company, L.P. Meeting video substitutes
US11622147B2 (en) * 2021-07-22 2023-04-04 Popio Mobile Video Cloud, Llc Blurring digital video streams upon initiating digital video communications
US11895101B2 (en) * 2021-11-22 2024-02-06 Dell Products, L.P. Machine learning development hub
CN114998800A (zh) * 2022-06-06 2022-09-02 中移（杭州）信息技术有限公司 视频检测方法、装置、设备及计算机可读存储介质

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100844334B1 (ko) * 2007-06-07 2008-07-08 엘지전자 주식회사 이동통신 단말기의 디스플레이 제어장치 및 방법

Family Cites Families (129)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0690279A (ja) 1992-09-08 1994-03-29 Fujitsu General Ltd イタズラ電話撃退装置
JPH09200714A (ja) 1996-01-17 1997-07-31 Casio Comput Co Ltd テレビ電話付き画像処理装置
JP3642716B2 (ja) 2000-04-19 2005-04-27 三菱電機株式会社 テレビ電話装置及び通話方法
KR20010000426A (ko) 2000-09-28 2001-01-05 김용환 지능형 영상 인터페이스 방법
US20030028875A1 (en) 2001-05-02 2003-02-06 Koninklijke Philips Electronics N.V. Television access control system
EP1311124A1 (en) 2001-11-13 2003-05-14 Matsushita Electric Industrial Co., Ltd. Selective protection method for images transmission
JP3838506B2 (ja) 2001-11-13 2006-10-25 松下電器産業株式会社 画像を用いる通信方法及びその装置
US20030126267A1 (en) 2001-12-27 2003-07-03 Koninklijke Philips Electronics N.V. Method and apparatus for preventing access to inappropriate content over a network based on audio or visual content
US7360234B2 (en) 2002-07-02 2008-04-15 Caption Tv, Inc. System, method, and computer program product for selective filtering of objectionable content from a program
US8245252B2 (en) 2002-09-10 2012-08-14 Caption Tv, Inc. System, method, and computer program product for selective replacement of objectionable program content with less-objectionable content
KR100927271B1 (ko) 2003-01-13 2009-11-18 엘지전자 주식회사 디스플레이 장치의 시청 제한 방법
US7321384B1 (en) 2003-06-03 2008-01-22 Cisco Technology, Inc. Method and apparatus for using far end camera control (FECC) messages to implement participant and layout selection in a multipoint videoconference
US8254674B2 (en) 2004-10-28 2012-08-28 DigitalOptics Corporation Europe Limited Analyzing partial face regions for red-eye detection in acquired digital images
US7444403B1 (en) 2003-11-25 2008-10-28 Microsoft Corporation Detecting sexually predatory content in an electronic communication
US8977063B2 (en) 2005-03-09 2015-03-10 Qualcomm Incorporated Region-of-interest extraction for video telephony
JP2006270380A (ja) 2005-03-23 2006-10-05 Victor Co Of Japan Ltd 画像情報送信装置
US7564476B1 (en) 2005-05-13 2009-07-21 Avaya Inc. Prevent video calls based on appearance
US20100226261A1 (en) * 2005-09-16 2010-09-09 Eyeball Networks Inc. Method and system to prevent spam over internet telephony
US20080012935A1 (en) 2005-11-22 2008-01-17 Gateway Inc. Inappropriate content detection and distribution prevention for wireless cameras/camcorders with e-mail capabilities and camera phones
US20070195158A1 (en) 2006-02-23 2007-08-23 Kies Jonathan K Apparatus and methods for managing video calls on a wireless device
US20080059198A1 (en) 2006-09-01 2008-03-06 Pudding Ltd. Apparatus and method for detecting and reporting online predators
US7911513B2 (en) 2007-04-20 2011-03-22 General Instrument Corporation Simulating short depth of field to maximize privacy in videotelephony
GB0709574D0 (en) 2007-05-18 2007-06-27 Aurix Ltd Speech Screening
US8253770B2 (en) 2007-05-31 2012-08-28 Eastman Kodak Company Residential video communication system
KR100882476B1 (ko) 2007-06-14 2009-02-06 유성준 음란성 이미지의 판별 방법과 그 장치
US8165416B2 (en) 2007-06-29 2012-04-24 Microsoft Corporation Automatic gain and exposure control using region of interest detection
US20090041311A1 (en) 2007-08-09 2009-02-12 Jon Hundley Facial recognition based content blocking system
JP2008159034A (ja) 2007-11-07 2008-07-10 Fujitsu Ltd サーバおよび音声信号収集配信方法
US8230011B2 (en) 2008-03-03 2012-07-24 John Vandenburgh Networked computer alert system
US20090288131A1 (en) 2008-05-13 2009-11-19 Porto Technology, Llc Providing advance content alerts to a mobile device during playback of a media item
US8223187B2 (en) 2008-07-17 2012-07-17 Cisco Technology, Inc. Non-bandwidth intensive method for providing multiple levels of censoring in an A/V stream
KR101450580B1 (ko) 2008-11-19 2014-10-14 삼성전자주식회사 이미지 합성 방법 및 장치
US8904547B2 (en) 2009-01-05 2014-12-02 International Business Machines Corporation Notification upon exposure to offensive behavioral patterns in collaboration
US8441356B1 (en) 2009-02-16 2013-05-14 Handhold Adaptive, LLC Methods for remote assistance of disabled persons
KR101639392B1 (ko) 2009-08-20 2016-07-22 엘지전자 주식회사 이동 단말기
KR101189053B1 (ko) 2009-09-05 2012-10-10 에스케이플래닛 주식회사 아바타 기반 화상 통화 방법 및 시스템, 이를 지원하는 단말기
CN101668157B (zh) 2009-09-24 2011-09-21 中兴通讯股份有限公司 用于视频通话中隐私保护的方法、应用服务器及系统
JP2011082694A (ja) 2009-10-05 2011-04-21 Sharp Corp 通信会議システム及び通信装置
KR101384317B1 (ko) 2009-12-21 2014-04-14 한국전자통신연구원 멀티모달 및 멀티스케일 특징 기반 유해 영상 차단 장치 및 방법
US8626879B2 (en) * 2009-12-22 2014-01-07 Sling Media, Inc. Systems and methods for establishing network connections using local mediation services
US8301653B2 (en) 2010-01-25 2012-10-30 Glenn Adamousky System and method for capturing and reporting online sessions
JP2011205243A (ja) 2010-03-24 2011-10-13 Sharp Corp 情報処理装置、会議システム、情報処理方法及びコンピュータプログラム
US8856165B1 (en) * 2010-03-26 2014-10-07 Google Inc. Ranking of users who report abuse
US8826322B2 (en) 2010-05-17 2014-09-02 Amazon Technologies, Inc. Selective content presentation engine
JP5442547B2 (ja) 2010-07-08 2014-03-12 株式会社Ｎｔｔドコモ コンテンツ推薦装置及び方法
JP2012054897A (ja) 2010-09-03 2012-03-15 Sharp Corp 会議システム、情報処理装置、及び情報処理方法
CN103098452B (zh) 2010-09-10 2016-08-03 日本电气株式会社 移动终端、远程操作系统、移动终端的数据发送控制方法以及非瞬时计算机可读介质
US8526728B2 (en) 2010-12-21 2013-09-03 Microsoft Corporation Establishing clusters of user preferences for image enhancement
JP5771998B2 (ja) 2011-01-13 2015-09-02 株式会社ニコン 電子機器および電子機器の制御プログラム
US20130234826A1 (en) 2011-01-13 2013-09-12 Nikon Corporation Electronic device and electronic device control program
JP5614494B2 (ja) 2011-03-30 2014-10-29 富士通株式会社 画像送信制御機能を含む情報処理装置
EP2515526A3 (en) 2011-04-08 2014-12-24 FotoNation Limited Display device with image capture and analysis module
KR101237469B1 (ko) 2011-05-12 2013-02-26 재단법인 서울호서직업전문학교 음란 이미지 자동 인식 방법, 장치 및 그 방법을 실행하기 위한 프로그램 기록매체
US8970653B2 (en) 2011-06-16 2015-03-03 Vtel Products Corporation, Inc. Video conference control system and method
NO334029B1 (no) 2011-09-30 2013-11-18 Cisco Tech Inc System og fremgangsmåte for etablering av videokonferansesesjon med justerbart filter for markering av tilstedeværelsesnivå i endepunkter
KR101394597B1 (ko) 2012-05-09 2014-05-27 김명훈 얼굴검출 알고리즘을 이용한 영상보안장치와 영상보안시스템 및 얼굴검출 알고리즘을 이용한 영상보안방법
KR101936802B1 (ko) 2012-07-20 2019-01-09 한국전자통신연구원 얼굴인식 기반의 개인정보보호 장치 및 방법
US9288387B1 (en) 2012-09-11 2016-03-15 Amazon Technologies, Inc. Content display controls based on environmental factors
EP2803202B1 (en) * 2012-12-11 2023-11-08 RingCentral, Inc. Method of processing video data, device, computer program product, and data construct
US20150070516A1 (en) * 2012-12-14 2015-03-12 Biscotti Inc. Automatic Content Filtering
US9154709B2 (en) 2012-12-21 2015-10-06 Google Inc. Recommending transformations for photography
KR101800617B1 (ko) 2013-01-02 2017-12-20 삼성전자주식회사 디스플레이 장치 및 이의 화상 통화 방법
US9013536B2 (en) 2013-03-13 2015-04-21 Futurewei Technologies, Inc. Augmented video calls on mobile devices
US9716599B1 (en) 2013-03-14 2017-07-25 Ca, Inc. Automated assessment of organization mood
JP6068384B2 (ja) 2013-03-20 2017-01-25 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 収集された情報に基づいた映像処理方法及びその装置
US9230328B1 (en) 2013-06-28 2016-01-05 Google Inc. Providing image parameters
CN103413270A (zh) 2013-08-15 2013-11-27 北京小米科技有限责任公司 一种图像的处理方法、装置和终端设备
WO2015044994A1 (ja) 2013-09-24 2015-04-02 日立マクセル株式会社 テレビ通話装置、及びテレビ通話処理方法
EP2887625A1 (en) 2013-12-19 2015-06-24 Alcatel Lucent Method for real-time reporting and prevention of call abuse
US9460340B2 (en) 2014-01-31 2016-10-04 Google Inc. Self-initiated change of appearance for subjects in video and images
CN104836977B (zh) 2014-02-10 2018-04-24 阿里巴巴集团控股有限公司 即时通讯过程中的视频通讯方法及系统
CN106462946A (zh) 2014-04-25 2017-02-22 索尼公司 响应于外部应用处理数字照片
US9451335B2 (en) * 2014-04-29 2016-09-20 At&T Intellectual Property I, Lp Method and apparatus for augmenting media content
US9633462B2 (en) 2014-05-09 2017-04-25 Google Inc. Providing pre-edits for photos
US9462112B2 (en) 2014-06-19 2016-10-04 Microsoft Technology Licensing, Llc Use of a digital assistant in communications
US20150370806A1 (en) 2014-06-19 2015-12-24 BrightSky Labs, Inc. Visual experience map for media presentations
WO2016004344A1 (en) 2014-07-03 2016-01-07 Spitfire Technologies, Llc Electronically mediated reaction game
US9225897B1 (en) 2014-07-07 2015-12-29 Snapchat, Inc. Apparatus and method for supplying content aware photo filters
US9858470B2 (en) 2014-07-18 2018-01-02 Htc Corporation Method for performing a face tracking function and an electric device having the same
US9646227B2 (en) * 2014-07-29 2017-05-09 Microsoft Technology Licensing, Llc Computerized machine learning of interesting video sections
US9282287B1 (en) 2014-09-09 2016-03-08 Google Inc. Real-time video transformations in video conferences
US9516220B2 (en) 2014-10-02 2016-12-06 Intel Corporation Interactive video conferencing
KR20160051390A (ko) 2014-11-03 2016-05-11 삼성전자주식회사 전자장치 및 전자장치의 필터 제공 방법
JP6492638B2 (ja) 2014-12-25 2019-04-03 セイコーエプソン株式会社 表示装置、及び、表示装置の制御方法
US9754355B2 (en) 2015-01-09 2017-09-05 Snap Inc. Object recognition based photo filters
US9503456B1 (en) 2015-01-22 2016-11-22 Google Inc. Video chat abuse detection based on external context
US9380264B1 (en) * 2015-02-16 2016-06-28 Siva Prasad Vakalapudi System and method for video communication
US9569697B1 (en) 2015-02-19 2017-02-14 Google Inc. Object oriented image editing
US9576190B2 (en) 2015-03-18 2017-02-21 Snap Inc. Emotion recognition in video conferencing
WO2016189350A1 (en) 2015-05-23 2016-12-01 Yogesh Chunilal Rathod Calling to user(s) for real-time sharing, participation, e-commerce, workflow, communication & collaboration in the event of acceptance of call by caller user(s)
US20160350675A1 (en) * 2015-06-01 2016-12-01 Facebook, Inc. Systems and methods to identify objectionable content
WO2017004241A1 (en) 2015-07-02 2017-01-05 Krush Technologies, Llc Facial gesture recognition and video analysis tool
US10198667B2 (en) * 2015-09-02 2019-02-05 Pocketguardian, Llc System and method of detecting offensive content sent or received on a portable electronic device
KR20170059201A (ko) 2015-11-20 2017-05-30 삼성전자주식회사 전자 장치 및 전자 장치의 컨텐츠 출력 방법
KR101751620B1 (ko) 2015-12-15 2017-07-11 라인 가부시키가이샤 시각적 또는 청각적 효과의 양방향 전달을 이용한 영상 통화 방법 및 시스템
KR20170082349A (ko) 2016-01-06 2017-07-14 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
BR102016007265B1 (pt) * 2016-04-01 2022-11-16 Samsung Eletrônica da Amazônia Ltda. Método multimodal e em tempo real para filtragem de conteúdo sensível
US10104025B2 (en) 2016-05-23 2018-10-16 Oath Inc. Virtual chat rooms
US9848167B1 (en) 2016-06-21 2017-12-19 Amazon Technologies, Inc. Low bandwidth video
KR20180000255A (ko) 2016-06-22 2018-01-02 엘지전자 주식회사 이동 단말기 및 그 이동 단말기의 제어 방법
JP2017228224A (ja) 2016-06-24 2017-12-28 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
KR20180039402A (ko) 2016-10-10 2018-04-18 주식회사 하이퍼커넥트 영상 표시 장치 및 영상 표시 방법
US11553157B2 (en) 2016-10-10 2023-01-10 Hyperconnect Inc. Device and method of displaying images
US10349126B2 (en) 2016-12-19 2019-07-09 Samsung Electronics Co., Ltd. Method and apparatus for filtering video
US10349224B2 (en) 2017-01-24 2019-07-09 Essential Products, Inc. Media and communications in a connected environment
US10754965B2 (en) 2017-03-08 2020-08-25 Blackberry Limited Data messaging with privacy tokens
KR101932844B1 (ko) 2017-04-17 2018-12-27 주식회사 하이퍼커넥트 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
KR101967658B1 (ko) 2017-05-27 2019-04-29 주식회사 하이퍼커넥트 영상 통화 장치 및 영상 통화 방법
KR102283972B1 (ko) 2017-07-14 2021-08-02 주식회사 하이퍼커넥트 통신 장치, 서버 및 동작 방법
KR102312861B1 (ko) 2017-08-09 2021-10-15 주식회사 하이퍼커넥트 통신 장치, 서버 및 통신 방법
JP2019047357A (ja) 2017-09-04 2019-03-22 キヤノン株式会社 撮像装置付き表示装置
KR101989842B1 (ko) 2017-12-07 2019-06-17 주식회사 하이퍼커넥트 단말기 및 그것의 영상 처리 방법
KR102056806B1 (ko) 2017-12-15 2019-12-18 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말과 서버
KR102044242B1 (ko) 2017-12-27 2019-11-13 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말 및 서버
KR102079091B1 (ko) 2018-01-31 2020-02-19 주식회사 하이퍼커넥트 단말기 및 그것의 이미지 처리 방법
KR20190098518A (ko) 2018-02-14 2019-08-22 주식회사 하이퍼커넥트 서버 및 그것의 동작 방법
US20190342246A1 (en) 2018-05-05 2019-11-07 Thomas P. Theriault Novel decency filtration tools and their use in interfacing systems
JP2020010158A (ja) 2018-07-06 2020-01-16 本田技研工業株式会社 周辺画像の提供方法、及び通信端末用プログラム
US10440063B1 (en) 2018-07-10 2019-10-08 Eturi Corp. Media device content review and management
US10440324B1 (en) 2018-09-06 2019-10-08 Amazon Technologies, Inc. Altering undesirable communication data for communication sessions
KR102266888B1 (ko) 2018-12-31 2021-06-21 주식회사 하이퍼커넥트 영상 통화 서비스를 제공하는 단말기 및 서버
US10810726B2 (en) 2019-01-30 2020-10-20 Walmart Apollo, Llc Systems and methods for detecting content in images using neural network architectures
US20200335089A1 (en) 2019-04-16 2020-10-22 International Business Machines Corporation Protecting chat with artificial intelligence
KR102282963B1 (ko) 2019-05-10 2021-07-29 주식회사 하이퍼커넥트 단말기, 서버 및 그것의 동작 방법
US20220229488A1 (en) 2019-06-14 2022-07-21 Semiconductor Energy Laboratory Co., Ltd. Data Processing Device Executing Operation Based on User's Emotion
US11330313B2 (en) 2019-08-02 2022-05-10 Dell Products L.P. Crowd rating media content based on micro-expressions of viewers
KR102311603B1 (ko) 2019-10-01 2021-10-13 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102293422B1 (ko) 2020-01-31 2021-08-26 주식회사 하이퍼커넥트 단말기 및 그것의 동작 방법
KR102287704B1 (ko) 2020-01-31 2021-08-10 주식회사 하이퍼커넥트 단말기, 그것의 동작 방법 및 컴퓨터 판독 가능한 기록매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100844334B1 (ko) * 2007-06-07 2008-07-08 엘지전자 주식회사 이동통신 단말기의 디스플레이 제어장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US12167088B2 (en) 2021-03-22 2024-12-10 Hyperconnect Inc. Method and apparatus for providing video stream based on machine learning

Also Published As

Publication number Publication date
US11722638B2 (en) 2023-08-08
KR20180116520A (ko) 2018-10-25
WO2018194243A1 (en) 2018-10-25
US20210203880A1 (en) 2021-07-01
US20220239862A1 (en) 2022-07-28
US11323659B2 (en) 2022-05-03
US10965907B2 (en) 2021-03-30
US20200137352A1 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
KR101932844B1 (ko) 영상 통화 장치, 영상 통화 방법 및 영상 통화 중개 방법
KR101967658B1 (ko) 영상 통화 장치 및 영상 통화 방법
US11184582B2 (en) Terminal and operating method thereof
US11394922B2 (en) Terminal and operating method thereof
US20170124834A1 (en) Systems and methods for secure collection of surveillance data
US11716424B2 (en) Video call mediation method
Anderez et al. The rise of technology in crime prevention: opportunities, challenges and practitioners perspectives
CN104994335A (zh) 一种报警的方法及终端
US11418757B1 (en) Controlled-environment facility video communications monitoring system
WO2021047069A1 (zh) 人脸识别方法和电子终端设备
KR101979650B1 (ko) 서버 및 그것의 동작 방법
CN109842612A (zh) 基于图库模型的日志安全分析方法、装置及存储介质
CN109598120A (zh) 移动终端的安全态势智能分析方法、装置及存储介质
CN104378596B (zh) 一种与摄像设备进行远程通话的方法及装置
KR102293416B1 (ko) 통신 장치, 서버 및 그것의 통신 방법
CN109815744A (zh) 网页篡改的检测方法、装置及存储介质
US10893232B1 (en) Controlled-environment facility video communications monitoring system
CN109614794A (zh) 基于信息增益的特征选择方法、装置及存储介质
CN110149310B (zh) 流量入侵检测方法、装置及存储介质
KR102315211B1 (ko) 단말기 및 그것의 동작 방법
US20240347212A1 (en) Methods and systems for performing contact tracing
CN116863553A (zh) 考勤方法、装置、计算机设备和存储介质
CN116092252A (zh) 一种基于尾随行为监测的影像信息处理方法及相关装置
CN120021437A (zh) 相机事件处理
CN119382921A (zh) 一种面向多方协同的共谋风险识别方法、装置及系统

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20170417

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20180416

Patent event code: PE09021S01D

AMND Amendment
E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20181011

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D

Patent event date: 20180416

Comment text: Notification of reason for refusal

Patent event code: PE06011S01I

PG1501 Laying open of application
AMND Amendment
PX0901 Re-examination

Patent event code: PX09011S01I

Patent event date: 20181011

Comment text: Decision to Refuse Application

Patent event code: PX09012R01I

Patent event date: 20180611

Comment text: Amendment to Specification, etc.

PX0701 Decision of registration after re-examination

Patent event date: 20181214

Comment text: Decision to Grant Registration

Patent event code: PX07013S01D

Patent event date: 20181112

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

Patent event date: 20181011

Comment text: Decision to Refuse Application

Patent event code: PX07011S01I

Patent event date: 20180611

Comment text: Amendment to Specification, etc.

Patent event code: PX07012R01I

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20181219

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20181219

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20210927

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20230921

Start annual number: 6

End annual number: 6

PR1001 Payment of annual fee

Payment date: 20241126

Start annual number: 7

End annual number: 7