[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR102341862B1 - 전자 장치 및 통화 내용 표시 방법 - Google Patents

전자 장치 및 통화 내용 표시 방법 Download PDF

Info

Publication number
KR102341862B1
KR102341862B1 KR1020140121979A KR20140121979A KR102341862B1 KR 102341862 B1 KR102341862 B1 KR 102341862B1 KR 1020140121979 A KR1020140121979 A KR 1020140121979A KR 20140121979 A KR20140121979 A KR 20140121979A KR 102341862 B1 KR102341862 B1 KR 102341862B1
Authority
KR
South Korea
Prior art keywords
call
ars
electronic device
display
voice data
Prior art date
Application number
KR1020140121979A
Other languages
English (en)
Other versions
KR20160031798A (ko
Inventor
김홍
박학규
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to KR1020140121979A priority Critical patent/KR102341862B1/ko
Priority to US14/850,269 priority patent/US9560188B2/en
Publication of KR20160031798A publication Critical patent/KR20160031798A/ko
Application granted granted Critical
Publication of KR102341862B1 publication Critical patent/KR102341862B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72475—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users
    • H04M1/72478—User interfaces specially adapted for cordless or mobile telephones specially adapted for disabled users for hearing-impaired users
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/487—Arrangements for providing information services, e.g. recorded voice services or time announcements
    • H04M3/493—Interactive information services, e.g. directory enquiries ; Arrangements therefor, e.g. interactive voice response [IVR] systems or voice portals
    • H04M3/4936—Speech interaction details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/18—Information format or content conversion, e.g. adaptation by the network of the transmitted or received information for the purpose of wireless delivery to users or terminals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/26—Speech to text systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/25—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service
    • H04M2203/251—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably
    • H04M2203/252—Aspects of automatic or semi-automatic exchanges related to user interface aspects of the telephonic communication service where a voice mode or a visual mode can be used interchangeably where a voice mode is enhanced with visual information

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Telephone Function (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Multimedia (AREA)

Abstract

본 발명의 일 실시예에 의한 전자 장치는, 전화 통화 연결 시, 음성 데이터를 송수신하는 통신부; 음성 데이터를 입력 또는 출력하는 오디오부; 사용자 입력을 수신하는 입력부; 연결된 전화 통화가 ARS(Automatic Response System) 전화인지 판단하고, ARS 전화인 경우, 수신한 음성 데이터를 텍스트 데이터로 변환하는 제어부; 및 상기 변환된 텍스트 데이터를 표시하는 표시부를 포함할 수 있다.

Description

전자 장치 및 통화 내용 표시 방법{Electronic device and method for displaying call conversation}
본 발명의 다양한 실시예는, 통화 중 수신하는 음성 데이터를 텍스트 데이터로 변환하여 표시할 수 있는 전자 장치 및 통화 내용 표시 방법에 관한 것이다.
최근 휴대용 이동통신단말기 등의 전자 장치는 음성 및 영상 통화 기능뿐만이 아니라 메시지 또는 이메일 전송, 정보를 입력 또는 출력하는 기능, 멀티미디어의 재생, 및 게임 기능 등 다양한 기능들을 복합적으로 수행할 수 있도록 발전되어 왔다.
복합적인 기능들을 제공하기 위하여 전자 장치는 디스플레이 화면을 구비하는 경우가 많다. 다만, 이러한 전자 장치들은 통화 연결 중에는 디스플레이 화면에 사용자의 조작을 위한 간단한 메뉴, 통화 상대방 정보 또는 아이콘 등만이 표시하는 경우가 일반적이다. 따라서, 특정 번호의 음성 안내 서비스와 같은 ARS(Automatic Response System) 통화 중에는 사용자가 음성 안내 내용을 기억하지 못하는 경우 또는 청각이 저하된 사용자의 경우 반복적으로 음성 내용을 다시 듣거나, 다시 전화를 걸어 음성 안내 서비스를 받아야 하는 불편함이 있었다.
본 발명의 다양한 실시예들은, ARS 음성 안내 서비스를 제공 받는 경우, 음성 안내 내용을 텍스트로 변환하여 표시할 수 있는 전자 장치 및 통화 내용 표시 방법을 제공하고자 한다.
본 발명의 다양한 실시예에 따른 전자 장치는 전화 통화 연결 시, 음성 데이터를 송수신하는 통신부, 음성 데이터를 입력 또는 출력하는 오디오부, 사용자 입력을 수신하는 입력부, 연결된 전화 통화가 ARS(Automatic Response System) 전화인지 판단하고 ARS 전화인 경우 수신한 음성 데이터를 텍스트 데이터로 변환하는 제어부 및 상기 변환된 텍스트 데이터를 표시하는 표시부를 포함할 수 있다.
본 발명의 다양한 실시예에 따른 통화 내용 표시 방법은 전화 통화를 연결하는 동작, 연결된 전화 통화가 ARS 전화인지 판단하는 동작, 연결된 전화 통화가 ARS 전화인 경우, 수신한 음성 데이터를 분석하여 텍스트 데이터로 변환하는 동작 및 상기 변환된 텍스트 데이터를 표시하는 동작을 포함할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치 및 통화 내용 표시 방법에 따르면, 통화 중에 수신한 음성 데이터를 텍스트 데이터로 변환하여 표시할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치 및 통화 내용 표시 방법에 따르면, 연결된 전화 통화가 ARS 전화인지 판단할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치 및 통화 내용 표시 방법에 따르면, ARS 전화인 경우에 음성 데이터를 텍스트 데이터로 변환함으로써 텍스트 데이터로의 변환 시의 정확도를 높일 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치 및 통화 내용 표시 방법에 따르면, 표시되는 텍스트 데이터의 언어를 설정하여 원하는 언어로 번역하여 표시할 수 있다.
본 발명의 다양한 실시예에 따른 전자 장치 및 통화 내용 표시 방법에 따르면, ARS 전화 통화를 자동으로 반복 진행하고, ARS종료 후에 상대방과 통화가 연결된 것을 사용자에게 알려줄 수 있다.
도 1은 본 발명의 다양한 실시예들에 따른 전자 장치의 블록도를 도시한다.
도 2는 본 발명의 다양한 실시예들에 따른 전자 장치의 통화 내용 표시 방법의 순서도를 도시한다.
도 3은 본 발명의 다양한 실시예들에 따른 전자 장치의 통화 내용 표시 방법 중 음성 데이터를 텍스트 데이터로 변환하는 동작의 일 예시를 나타내는 순서도이다.
도 4는 본 발명의 다양한 실시예들에 따른 전자 장치의 통화 내용 표시 방법 중 텍스트 데이터를 표시하는 동작의 일 예시를 나타내는 순서도이다.
도 5는 본 발명의 다양한 실시예들에 따른 전자 장치의 통화 내용 표시 방법 중 텍스트 데이터를 표시하는 동작의 다른 예시를 나타내는 순서도이다.
도 6은 본 발명의 다양한 실시예들에 따른 전자 장치의 통화 내용 표시 방법의 순서도이다.
도 7은 본 발명의 다양한 실시예들에 따른 전자 장치 및 통화 내용 표시 방법에서 통화 중에 수신한 음성 데이터의 내용을 텍스트 데이터로 변환하여 표시한 화면의 일 예시를 나타낸다.
이하 본 개시에 따른 상세한 설명에서는 상술한 기술적 과제를 이루기 위한 대표적인 실시 예를 제시할 것이다. 또한, 본 개시에 대한 설명의 편의를 위하여 정의하고 있는 개체들의 명칭들을 동일하게 사용할 수 있다. 하지만, 설명의 편의를 위해 사용된 명칭들이 본 개시에 따른 권리를 한정하는 것은 아니며, 유사한 기술적 배경을 가지는 시스템에 대해 동일 또는 용이한 변경에 의해 적용 가능함은 물론이다.
마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. 따라서 본 개시는 첨부한 도면에 그려진 상대적인 크기나 간격에 의해 제한 되어지지 않는다.
또한, 본 개시에 사용된 단수형은 문맥상 명확하게 달리 지적하지 않은 이상 복수형도 포함하는 것으로 의도된 것이다. 또한, 본 명세서에 사용된 "및"이라는 용어는 열거된 관련 아이템들 중 하나 이상의 아이템의 가능한 모든 조합을 지칭하고 포함되는 것으로 이해되어야 한다.
또한, 본 개시에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
이하, 첨부된 도면을 참조하여 본 개시를 설명한다.
도 1은 본 발명의 다양한 실시예들에 따른 전자 장치(100)의 블록도이다.
전자 장치(100)는 통신부(110), 제어부(120), 표시부(130), 입력부(140), 저장부(150), 및 오디오부(160)를 포함할 수 있다.
통신부(110)는 전자 장치(100)의 무선 통신 기능을 지원하며, 전자 장치(100)가 이동 통신 기능을 지원하는 경우 이동 통신 모듈로서 구성될 수 있다. 통신부(110)는 송신되는 무선 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신부 및 수신되는 무선 신호를 저잡음 증폭하고 주파수를 하강 변환하는 RF 수신부 등을 포함할 수 있다. 또한, 전자 장치(100)가 와이파이 통신, 블루투스 통신, 지그비(Zigbee) 통신, UWB(Ultra Wideband) 통신 및NFC(Near Field Communication) 통신 등과 같은 근거리 무선 통신 기능을 지원하는 경우 통신부(110)는 와이파이 통신 모듈, 블루투스 통신 모듈, 지그비(Zigbee) 통신 모듈, UWB 통신 모듈, NFC 통신 모듈 등을 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면, 통신부(110)는 통화 연결 시에 이동 통신 망, 인터넷 또는 네트워크 등을 통하여 음성 데이터를 송수신할 수 있다. 통신부(110)는 수신한 음성 데이터를 제어부(120) 또는 오디오부(160)에 전송할 수 있다.
제어부(120)는 운영체제 또는 응용 프로그램을 구동하여 상기 제어부(120)에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 멀티미디어 데이터를 포함한 각종 데이터 처리 및 연산을 수행할 수 있다. 제어부(120)는, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 제어부(120)는 GPU(graphic processing unit, 미도시)를 더 포함할 수 있다.
본 발명의 다양한 실시예들에 따르면, 제어부(120)는 연결된 전화 통화가 ARS(Automatic Response System) 전화인지 판단할 수 있다. 제어부(120)는 연결된 전화 통화의 전화 번호가 기 저장된 ARS 번호 리스트에 포함되는 경우 ARS 전화로 판단할 수 있다. ARS 번호 리스트는 ARS 서비스를 제공하는 전화 번호들의 정보를 포함할 수 있다. 제어부(120)는 전화 통화 연결 시에 기 저장된 ARS 번호 리스트를 확인하여 현재 연결된 전화 번호가 ARS 번호 리스트에 포함되어 있는지 확인할 수 있다. 예를 들어, "1577-6114"라는 번호가 ARS 번호라고 ARS 번호 리스트에 기 저장되어 있는 경우, 제어부(120)는 통화 연결된 전화 번호가 "1577-6114"인 경우에 ARS 전화인 것으로 판단할 수 있다. 제어부(120)는 외부의 ARS 서버로부터 ARS 번호 리스트를 수신하여 저장하도록 제어할 수 있다. 또는, 제어부(120)는 통화 연결 시에 외부 ARS 서버로부터 실시간으로 해당 번호가 ARS 전화인지 여부를 확인할 수도 있다.
제어부(120)는 수신한 음성 데이터를 분석하여 수신한 음성 데이터가 기계음인 경우에 ARS 전화로 판단할 수 있다. 예를 들어, ARS 전화의 경우, 기계음으로 음성 안내를 제공할 수 있다. 기계음의 경우 일정한 톤, 억양, 또는 발음을 가질 수 있다. 제어부(120)는 수신한 음성 데이터의 톤, 억양, 또는 발음 등을 분석하여 음성 데이터가 기계음이라고 판단하면 연결된 전화 통화가 ARS 전화인 것으로 판단할 수 있다. 일 실시예에 따르면, 제어부(120)는 연결된 ARS 전화의 번호가 기 저장된 ARS 번호 리스트에 포함되지 않은 경우 새로 판단한 ARS 전화의 번호를 ARS 번호 리스트에 추가하여 저장할 수 있다.
일 실시예에 따르면, 제어부(120)는 전자 장치가 전화 연결을 요청한 경우, 전화 연결 요청 후 상대방이 전화를 수신하여 전화 통화가 연결될 때까지의 시간이 기 설정된 시간 이하인 경우 ARS 전화로 판단할 수 있다. 예를 들어, ARS 시스템의 경우 사용자의 판단 없이 자동적으로 전화를 수신하기 때문에 수신까지의 시간이 짧을 수 있다. 따라서, 제어부(120)는 전자 장치(100)가 특정 전화 번호로 전화를 건 경우, 기 설정된 시간 이내에 상대방이 전화 연결을 수락하여 통화가 연결되는 경우 ARS 전화로 판단할 수 있다. 예를 들어, 전자 장치(100)가 3GPP 상의 통화 연결을 수행하는 경우, 제어부(120)는 3GPP(3rd Generation Partnership Project) 규격의 비 액세스 층(NAS(Non Access Statrum) layer)의 호 제어 메시지(call control message)인 프로시딩 및 연결 확인(PROCEDING ~ CONNECT ACK)까지의 시간이 2초 미만이라면 연결된 전화가 ARS 전화인 것으로 판단할 수 있다.
제어부(120)는 연결된 전화 통화가 ARS 전화인 경우에 수신하는 음성 데이터를 텍스트 데이터로 변환할 수 있다. 일 실시예에 따르면, 제어부(120)는 통신부(110)를 제어하여 수신한 음성 데이터를 음성 데이터를 텍스트 데이터로 변환할 수 있는 외부 서버로 전송할 수 있다. 제어부(120)는 통신부(110)를 통해 외부 서버로부터 변환된 텍스트 데이터를 수신하여 표시하도록 제어할 수 있다.
제어부(120)는 음성 데이터를 분석할 분석 언어를 결정할 수 있다. 분석 언어는 제어부(120)가 음성 데이터가 어떠한 언어를 사용하여 분석할 것인지를 나타내는 언어일 수 있다. 예를 들어, 제어부(120)는 음성 데이터가 어느 언어로 되어 있는지를 미리 판단하여 더 빠르고 용이하게 음성 데이터를 분석할 수 있다. 제어부(120)는 연결된 전화 통화의 상대방의 전화 번호를 기반으로 분석 언어를 결정할 수 있다. 예를 들어, 전화 번호의 경우 특정 나라 또는 지역에서 사용하는 번호가 따로 지정되어 있을 수 있다. 제어부(120)는 연결된 전화 통화 상대방의 전화 번호를 이용하여 특정 나라의 번호인 것을 판단하고, 해당 국가의 언어를 분석 언어로 결정할 수 있다. 예를 들어, 수신한 전화의 전화 번호에는 국가 코드가 포함되어 있을 수 있다. 한국의 경우 '82' 일본의 경우 '81' 미국의 경우 '1' 등의 국가 코드가 전화번호에 포함될 수 있다. 제어부(120)는 수신한 전화의 전화 번호에 포함된 국가 코드에 대응되는 언어를 분석 언어로 결정할 수 있다. 일 실시예에 따르면, 제어부(120)는 발신한 전화의 상대방 전화 번호를 기반하여 대응되는 국가 코드의 국가 언어를 분석 언어로 결정할 수 있다. 예를 들어, 전자 장치(100)가 이탈리아의 전화 번호를 사용하거나, 이탈리아의 네트워크를 사용하는 상대방 단말로 전화를 발신할 경우에, 제어부(120)는 이탈리아어를 분석 언어로 결정할 수 있다.
제어부(120)는 이용 중인 PLMN(Public Land Mobile Networdk) ID를 기반으로 분석 언어를 결정할 수 있다. PLMN ID는 네트워크 사업자의 식별번호로 MCC(Mobile country code) 및 MNC(Mobile Network Code)를 포함할 수 있다. 즉, PLMN ID는 특정 국가 정보와 네트워크 사업자 정보를 포함할 수 있다. 제어부(120)는 사용자가 가입하여 사용 중인 네트워크 사업자 및 네트워크 사업자의 국가에 따라 해당 네트워크 사업자 국가의 언어를 분석 언어로 결정할 수 있다. 예를 들어, 한국 네트워크 사업자를 통하여 통화를 연결하는 경우, 제어부(120)는 한글을 분석 언어로 설정할 수 있다. 사용자가 해외 다른 나라(예를 들면, 미국 또는 일본)에 있는 경우, 해당 네트워크 사업자 정보에 따라 제어부(120)는 해당 나라의 언어(예를 들어, 영어 또는 일본어)를 분석 언어로 설정할 수 있다. 특정 나라에서 수신한 ARS 전화의 경우, 해당 국가의 언어로 된 음성 데이터를 수신할 가능성이 높으므로, 제어부(120)는 PLMN ID를 기반으로 해당 국가의 언어를 분석 언어로 설정할 수 있다.
일 실시예에 따르면, 제어부(120)는 사용자의 입력값에 따라 특정 언어를 분석 언어로 설정 또는 변경할 수도 있다.
제어부(120)는 수신한 음성 데이터를 음성 공백 기준으로 나누어 저장할 수 있다. 예를 들어, 연속된 음성 데이터를 수신하는 경우에 제어부(120)는 일정 시간 이상 음성 공백이 발생한 경우(즉, 음성 데이터가 수신되지 않는 경우 등)마다 음성 데이터의 구간을 나누어 저장할 수 있다. 제어부(120)는 음성 데이터를 신속하게 변환하여 실시간으로 텍스트 데이터를 표시하기 위하여 구간을 나누어 구간 별로 음성 데이터를 텍스트 데이터로 변환할 수 있다. 제어부(120)는 저장된 각각의 음성 데이터를 분석 언어를 기반으로 텍스트 데이터로 변환할 수 있다.
제어부(120)는 텍스트 데이터를 표시할 표시 언어를 결정할 수 있다. 제어부(120)는 기 저장된 HPLMN(Home Public Land Mobile Network) 정보를 기반하여 표시 언어를 결정할 수 있다. HPLMN 정보는 저장부(150)에 미리 저장될 수 있고, 전자 장치(100)의 SIM 카드에 미리 저장될 수도 있다. 제어부(120)는 기 저장된 HPLMN 정보에 포함된 국가 정보(예를 들면, 국가 코드)에 대응되는 언어를 표시 언어로 설정할 수 있다. 예를 들어, 한국의 사용자가 외국에서 ARS 전화를 수신한 경우에도, 제어부(120)는 HPLMN 정보에 기반하여 한글을 표시 언어로 설정할 수 있다.
일 실시예에 따르면, 제어부(120)는 사용자의 입력값에 따라 특정 언어를 표시 언어로 설정 또는 변경할 수도 있다. 예를 들어, 제어부(120)는 전자 장치(100)에서 기본 언어로 사용 중인 언어를 표시 언어로 설정할 수 있다.
제어부(120)는 변환한 텍스트 데이터를 표시 언어로 번역할 수 있다. 예를 들어, 분석 언어와 표시 언어가 상이한 경우, 제어부(120)는 분석 언어를 기반으로 변환한 텍스트 데이터를 표시 언어로 번역할 수 있다. 제어부(120)는 별도의 번역 프로그램 또는 번역 알고리즘을 통하여 텍스트 데이터를 표시 언어로 번역할 수 있다. 본 발명의 다양한 실시예들에 따르면, 전화 통화 상의 언어가 사용자의 모국어가 아닌 경우에도 사용자가 설정한 표시 언어로 텍스트 데이터가 표시됨으로써, 사용자의 편의성을 높일 수 있다.
본 발명의 다양한 실시예들에 따르면, 제어부(120)는 변환한 텍스트 데이터에서 특정 단어 또는 숫자를 검출할 수 있다. 예를 들어, 제어부(120)는 텍스트 데이터에서 특정 키워드 단어를 검출할 수 있다. 이 경우, 검출할 특정 키워드 단어들에 대한 정보는 저장부(150)에 기 저장되어 있을 수 있다. 제어부(120)는 텍스트 데이터에서 숫자를 검출할 수 있다.
제어부(120)는 텍스트 데이터에서 검출된 특정 단어 또는 숫자에 기반하여 표시 화면을 구성할 수 있다. 예를 들어, "요금 조회는 1번, 다시 듣기는 2번을 눌러 주세요"라는 음성 데이터를 수신하여 텍스트 데이터로 변환한 경우, 제어부(120)는 "1번", 및 "2번"을 텍스트 데이터에서 검출할 수 있다. 제어부(120)는 상기 검출된 숫자를 기반으로 "1. 요금 조회" 및 "2. 다시 듣기"라는 텍스트 데이터가 포함된 표시 화면을 구성할 수 있다. 즉, 제어부(120)는 텍스트 데이터에서 특정 단어가 검출되는 부분마다 텍스트 데이터를 분할하여 표시 화면을 구성할 수 있다. 제어부(120)는 분할된 텍스트 데이터가 각각 다른 줄 또는 다른 영역에 배치된 표시 화면을 구성할 수 있다. 제어부(120)는 통화 중에 구성한 표시 화면을 표시부(130)가 표시하도록 제어할 수 있다.
본 발명의 다양한 실시예들에 따르면, 제어부(120)는 ARS 음성을 수신하는 동안 사용자 입력을 수신할 때까지의 시간을 측정할 수 있다. 예를 들어, 제어부(120)는 통화 시작과 함께 시간을 측정하기 시작하여 사용자 입력을 수신할 때까지의 시간을 측정할 수 있다. 통화 중에 사용자 입력을 여러 차례 수신하는 경우, 제어부(120)는 사용자 입력을 수신한 때까지의 시간을 반복하여 측정할 수 있다. 제어부(120)는 사용자 입력을 수신한 경우, 수신한 사용자 입력의 값을 저장할 수 있다. 예를 들어, 제어부(120)는 통화 연결 후 2분 후에 사용자 입력을 수신하고, 1분 후에 다시 사용자 입력이 수신된 경우에 각각의 시간(2분, 및 1분)과 각각의 사용자 입력의 값을 저장할 수 있다.
제어부(120)는 수신한 음성 데이터를 분석하여 ARS 종료 후 상대방과의 통화 연결 성공 여부를 판단할 수 있다. 여기서, 상대방은 ARS 안내 음성이 아닌 통화 상대측의 사용자를 의미한다. 예를 들어, 제어부(120)는 ARS 안내 후에 상담원 과의 전화 연결 성공 여부를 판단할 수 있다. 예를 들어, 제어부(120)는 "잠시 후 다시 연결해 주시기 바랍니다."라는 음성 데이터를 수신한 경우에 상기 문장 자체를 인식하거나, 또는 상기 음성 데이터에 포함된 특정 키워드(예를 들면, "잠시 후", "다시 연결", "재시도" 등의 단어)를 검출한 경우 상대방과의 통화 연결이 실패한 것으로 판단할 수 있다. 또는 제어부(120)는 음성 데이터를 분석하여 기계음에서 기계음이 아닌 소리로 전환된 경우 ARS가 종료 후 상대방과의 통화 연결이 성공한 것으로 판단할 수 있다.
제어부(120)는 ARS 종료 후에 상대방과의 통화 연결이 실패한 것으로 판단하면, 일정 시간 간격으로 이전에 연결되었던 ARS 전화 번호로 통화를 재연결할 수 있다. 상기 일정 시간 간격은 사용자에 의해 미리 설정된 값일 수 있다. 예를 들어, 제어부(120)는 ARS 종료 후 상대방(예를 들어, 상담원)과의 통화 연결이 실패한 경우, 통화를 종료할 수 있다. 이후, 제어부(120)는 기 설정된 시간 간격으로 다시 동일한 번호로 통화를 시도할 수 있다. 제어부(120)는 전화 통화 연결 후에 이전에 측정한 시간에 따라 저장된 사용자 입력을 재입력할 수 있다. 제어부(120)는 ARS 전화를 건 후 동일한 시간 간격으로 동일한 사용자 입력의 값을 재입력함으로써, 반복적으로 이전의 절차를 다시 진행할 수 있다. 예를 들어, ARS 전화 통화 중에 원하는 메뉴 진입을 위하여 통화 2분 후 "2134#"의 사용자 입력값을 입력했었던 경우, 제어부(120)는 통화 종료 후 다시 동일한 번호로 전화를 연결한 후 통화 시작 2분 후에 동일한 "2134#"의 값을 재입력할 수 있다. 따라서, 제어부(120)는 이전에 반복하였던 ARS 안내 서비스 절차를 자동으로 수행할 수 있다. 이 경우, 통화 종료 후 전화 통화를 재시도하는 횟수는 사용자의 입력에 따라 설정 및 변경될 수 있다. 이후, 제어부(120)는 상대방 사용자(예를 들어, ARS 상담원 등)와 통화가 연결된 경우에 사용자에게 이를 알려줄 수 있다.
따라서, 본 발명의 다양한 실시예들에 따르면, 전자 장치(100)가 반복적인 ARS 서비스 절차를 자동으로 실행함으로써, 사용자는 ARS 서비스 절차를 직접 반복적으로 수행하지 않고 상대방 사용자와 통화 연결을 시도할 수 있다.
표시부(130)는 사용자의 전자 장치(100) 운용에 따른 다양한 화면(예를 들어, 미디어 컨텐츠 재생 화면, 통화 발신을 위한 화면, 메신저 화면, 게임 화면, 갤러리 화면 등)을 표시할 수 있다.
표시부(130)는 사용자 디바이스에서 처리되는 정보를 표시(출력)할 수 있다. 예를 들어, 사용자 디바이스가 통화모드인 경우 통화와 관련된 사용자 인터페이스(UI, User Interface) 또는 그래픽 사용자 인터페이스(GUI, Graphical UI)를 표시할 수 있다. 또한, 표시부(130)는 사용자 디바이스가 화상통화 모드 또는 촬영 또는/및 수신된 영상 또는 UI, GUI를 표시할 수 있다. 표시부(130)는 사용자 디바이스의 회전 방향(또는 놓인 방향)에 따라 가로모드에 의한 화면 표시, 세로모드에 의한 화면 표시 및 가로모드와 세로모드 간의 변화에 따른 화면 전화 표시를 지원할 수 있다.
표시부(130)는 액정 디스플레이(LCD, Liquid Crystal Display), 박막 트랜지스터 액정 디스플레이(TFT LCD, Thin Film Transistor-LCD), 발광 다이오드(LED, Light Emitting Diode), 유기 발광 다이오드(OLED, Organic LED), 능동형 OLED(AMOLED, Active Matrix OLED), 플렉서블 디스플레이(flexible display), 벤디드 디스플레이(bended display), 그리고 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다. 이들 중 일부 디스플레이는 외부를 볼 수 있도록 투명형 또는 광투명형으로 구성되는 투명 디스플레이(transparent display)로 구현될 수 있다.
일 실시예에 따르면, 표시부(130)는 ARS 종료 시, 또는 상대방과 통화 연결 시에 이를 사용자에게 알려주는 메시지, 또는 아이콘 등을 표시할 수 있다.
입력부(140)는 사용자로부터 전자 장치(100)의 조작을 위한 입력을 수신할 수 있다. 입력부(140)는 사용자로부터 터치 입력을 수신할 수 있다. 입력부(140)는 터치 패널을 포함할 수 있다. 터치 패널은, 예를 들면, 정전식, 감압식, 적외선 방식 또는 초음파 방식 중 적어도 하나의 방식으로 터치 입력을 인식할 수 있다. 또한, 터치 패널은 제어 회로를 더 포함할 수도 있다. 정전식의 경우, 물리적 접촉 또는 근접 인식이 가능하다. 터치 패널은 택타일레이어(tactile layer)를 더 포함할 수도 있다. 터치 패널은 사용자에게 촉각 반응을 제공할 수 있다. 입력부(140)는 수신한 터치 입력에 따른 입력 신호를 제어부(120)에 전송할 수 있다.
입력부(140)는 (디지털) 펜 센서(pen sensor), 키(key) 또는 초음파(ultrasonic) 입력 장치를 포함할 수 있다. 상기 (디지털) 펜 센서는, 예를 들면, 사용자의 터치 입력을 받는 것과 동일 또는 유사한 방법 또는 별도의 인식용 쉬트(sheet)를 이용하여 구현될 수 있다. 상기 키는, 예를 들면, 물리적인 버튼, 광학식 키 또는 키패드를 포함할 수 있다. 상기 초음파(ultrasonic) 입력 장치는 초음파 신호를 발생하는 입력 도구를 통해, 전자 장치(100)에서 마이크로 음파를 감지하여 데이터를 확인할 수 있는 장치로서, 무선 인식이 가능하다.
본 발명의 다양한 실시예들에 따르면, 표시부(130) 및 입력부(140)는 일체형으로 구성될 수 있다. 예를 들어, 전자 장치(100)는 터치 스크린을 포함할 수 있다. 터치 스크린은 입력 기능과 표시 기능을 동시에 수행할 수 있다. 터치 스크린은 터치 패널 및 표시 패널이 적층된 구조로 형성될 수 있다. 터치 스크린은 입출력 수단을 구비할 수 있다. 터치스크린은 표면에 접촉하는 사용자의 터치 이벤트 입력(예컨대, 터치 기반의 롱 프레스(long press) 입력, 터치 기반의 숏 프레스(short press) 입력, 싱글 터치(single-touch) 기반의 입력, 멀티터치(multi-touch) 기반의 입력, 터치 기반의 제스처(예컨대, 드래그(drag) 등) 입력 등)을 감지할 수 있다. 터치 스크린은 터치스크린 표면에 사용자의 터치 이벤트를 감지할 시 상기 터치 이벤트가 발생된 좌표를 검출하고, 검출된 좌표를 제어부(120)에 전달할 수 있다.
터치 스크린은 표면의 특정 부위에 가해진 압력 또는 특정 부위에 발생하는 정전 용량 등의 변화를 전기적인 입력신호로 변환하도록 구성될 수 있다. 터치 스크린은 터치되는 위치 및 면적뿐만 아니라, 적용한 터치 방식에 따라 터치 시의 압력까지도 검출할 수 있도록 구성될 수 있다. 터치 스크린에 대한 터치 입력이 있는 경우, 그에 대응하는 신호(들)는 터치 제어기(미도시)로 전달될 수 있다. 터치 제어기(미도시)는 그 신호(들)를 처리한 다음 해당 데이터를 제어부(120)로 전달할 수 있다.
본 발명의 다양한 실시예들에 따르면, 입력부(140)는 통화 연결, 통화 수신, 통화 종료, 송화음 차단, 통화 내용 표시 기능의 실행, 또는 다이얼 등의 값을 입력하기 위한 사용자 입력을 수신할 수 있다. 입력부(140)는 수신한 사용자 입력을 제어부(120)로 전송할 수 있다.
저장부(150)는 영상 데이터, 음성 데이터, 카메라부로부터 입력된 데이터, 연산 처리를 위한 데이터, 전자 장치(100)의 동작에 필요한 알고리즘, 설정 데이터, 가이드 정보 등을 포함할 수 있으며, 또한 처리 결과 등을 임시 저장할 수 있다. 저장부(150)는 휘발성 메모리 또는 비 휘발성 메모리를 포함할 수 있다. 예를 들어, 휘발성 메모리는 에스램(Static Random Access Memory, SRAM), 디램(Dynamic Random Access Memory, DRAM) 등을 포함할 수 있으며, 비휘발성 메모리는 롬(Read Only Memory, ROM), 플래쉬 메모리(Flash Memory), 하드 디스크(Hard Disk), SD 카드(Secure Digital Memory Card), MMC 카드(Multi-Media Card) 등을 포함할 수 있다. 본 발명의 일 실시예에 따르면, 저장부(150)는 사용자로부터 입력 받은 음성 데이터를 저장할 수 있다. 저장부(150)는 통신부(110)를 통해 수신한 음성 데이터를 저장할 수 있다. 저장부(150)는 통화 중에 사용자 입력이 수신되기까지 시간, 및 복수의 사용자 입력이 수신된 경우 사용자 입력들 사이에 경과한 시간에 대한 정보를 저장할 수 있다. 저장부(150)는 통화 중에 수신한 사용자 입력을 저장할 수 있다. 저장부(150)는 ARS 음성 안내를 제공하는 전화 번호들을 포함하는 ARS 번호 리스트를 저장할 수 있다.
오디오부(160)는 음성과 전기신호를 쌍방향으로 변화시킬 수 있다. 오디오부(160)는, 예를 들어, 스피커, 리시버, 이어폰 또는 마이크 중 적어도 하나를 포함하여 입력 또는 출력되는 음성 데이터를 변환시킬 수 있다. 본 발명의 일 실시예에 따르면, 오디오부(160)는 통화 중에 수신한 음성 데이터(예를 들면, ARS 안내 음성 등)을 출력할 수 있다. 오디오부(160)는 사용자가 입력하는 음성 데이터를 제어부(120) 또는 저장부(150)에 전송할 수 있다. 일 실시예에 따르면, 오디오부(160)는 ARS 종료 시, 또는 상대방과 통화 연결 시에 이를 사용자에게 알려주는 알림음을 출력할 수 있다.
도 2는 본 발명의 다양한 실시예들에 따른 통화 내용 표시 방법의 순서도이다.
210 동작에서, 전자 장치(100)는 전화 통화를 연결할 수 있다. 전자 장치(100)는 사용자의 입력에 따라 상대방에게 전화 통화를 요청하거나, 상대방으로부터 전화 통화를 수신할 수도 있다.
220 동작에서, 전자 장치(100)는 연결된 전화 통화가 ARS 전화인지 판단할 수 있다. 전자 장치(100)는 연결된 전화 통화의 전화 번호가 기 저장된 ARS 번호 리스트에 포함되는 경우 ARS 전화로 판단할 수 있다. ARS 번호 리스트는 ARS 서비스를 제공하는 전화 번호들의 정보를 포함할 수 있다. 전자 장치(100)는 외부의 ARS 서버로부터 ARS 번호 리스트를 수신하여 저장할 수 있다. 전자 장치(100)는 통화 연결 시에 외부 ARS 서버로부터 실시간으로 해당 번호가 ARS 전화인지 여부를 확인할 수도 있다. 일 실시예에 따르면, 전자 장치(100)는 수신한 음성 데이터의 톤, 억양, 또는 발음 등을 분석하여 음성 데이터가 기계음이라고 판단하면 연결된 전화 통화가 ARS 전화인 것으로 판단할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 연결된 ARS 전화의 번호가 기 저장된 ARS 번호 리스트에 포함되지 않은 경우 새로 판단한 ARS 전화의 번호를 ARS 번호 리스트에 추가하여 저장할 수 있다.
일 실시예에 따르면, 220 동작에서, 전자 장치(100)는 전화 연결을 요청한 경우에 전화 연결 요청 후 상대방이 전화를 수신하여 전화 통화가 연결될 때까지의 시간이 기 설정된 시간 이하인 경우 ARS 전화로 판단할 수 있다. 예를 들어, 전자 장치(100)는 특정 번호로 전화 연결 요청 시, 상대방이 기 설정된 시간(예를 들면, 2초) 이내에 전화 연결을 수락하여 통화가 연결되면 ARS 전화인 것으로 판단할 수 있다. 이 경우, 전자 장치(100)는 상기 특정 번호(상대방의 전화 번호)를 ARS 번호 리스트에 추가하여 저장할 수 있다.
전자 장치(100)는 연결된 통화가 ARS 전화인 경우에는 230 동작을 수행할 수 있다. 전자 장치(100)는 연결된 통화가 ARS 전호가 아닌 경우에는 250 동작을 수행할 수 있다.
230 동작에서, 전자 장치(100)는 수신한 음성 데이터를 텍스트 데이터로 변환할 수 있다. 전자 장치(100)는 수신한 음성 데이터를 저장할 수 있다. 전자 장치(100)는 수신한 음성 데이터를 실시간으로 텍스트 데이터로 변환할 수 있다.
240 동작에서, 전자 장치(100)는 변환된 텍스트 데이터를 표시할 수 있다. 전자 장치(100)는 텍스트 데이터를 그래도 표시할 수도 있고, 텍스트 데이터를 포함하는 특정 표시 화면으로 재구성하여 표시 화면을 표시할 수도 있다.
250 동작에서, 전자 장치(100)는 통화 종료 여부를 판단할 수 있다. 전자 장치(100)는 통화가 종료되지 않은 경우, 220 동작을 다시 수행할 수 있다.
도 3은 본 발명의 다양한 실시예들에 따른 전자 장치(100)의 통화 내용 표시 방법 중 음성 데이터를 텍스트 데이터로 변환하는 동작의 일 예시를 나타내는 순서도이다.
310 동작에서, 전자 장치(100)는 음성 데이터를 분석할 분석 언어를 결정할 수 있다. 분석 언어는 전자 장치(100)가 음성 데이터가 어떠한 언어를 사용하여 분석할 것인지를 나타내는 설정값일 수 있다. 일 실시예에 따르면, 전자 장치(100)는 연결된 전화 통화의 상대방의 전화 번호를 기반으로 분석 언어를 결정할 수 있다. 전자 장치(100)는 연결된 전화 통화 상대방의 전화 번호를 이용하여 특정 나라의 번호인 것을 판단하고, 해당 국가의 언어를 분석 언어로 결정할 수 있다. 예를 들어, 전자 장치(100)는 수신한 전화의 전화 번호에 포함된 국가 코드에 대응되는 언어를 분석 언어로 결정할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 이용 중인 PLMN(Public Land Mobile Networdk) ID를 기반으로 분석 언어를 결정할 수 있다. PLMN ID는 네트워크 사업자의 식별번호로 MCC(Mobile country code) 및 MNC(Mobile Network Code)를 포함할 수 있다. 전자 장치(100)는 사용자가 가입하여 사용 중인 네트워크 사업자 및 네트워크 사업자의 국가에 따라 해당 네트워크 사업자 국가의 언어를 분석 언어로 결정할 수 있다.
일 실시예에 따르면, 제어부(120)는 사용자의 입력값에 따라 특정 언어를 분석 언어로 설정 또는 변경할 수도 있다.
320 동작에서, 전자 장치(100)는 수신한 음성 데이터를 음성 공백 기준으로 구간을 나누어 저장할 수 있다. 예를 들어, 연속된 음성 데이터를 수신하는 경우에 전자 장치(100)는 일정 시간 이상 음성 공백이 발생한 경우마다 음성 데이터의 구간을 나누어 저장할 수 있다. 전자 장치(100)는 음성 데이터를 변환하여 실시간으로 텍스트 데이터를 표시하기 위하여 구간을 나누어 구간 별로 음성 데이터를 텍스트 데이터로 변환할 수 있다.
330 동작에서, 전자 장치(100)는 각각의 구간별 음성 데이터를 분석 언어로 분석하여 텍스트 데이터를 생성할 수 있다.
도 4는 본 발명의 다양한 실시예들에 따른 전자 장치(100)의 통화 내용 표시 방법 중 텍스트 데이터를 표시하는 동작의 일 예시를 나타내는 순서도이다.
410 동작에서, 전자 장치(100)는 텍스트 데이터를 표시할 표시 언어를 결정할 수 있다. 전자 장치(100)는 기 저장된 HPLMN(Home Public Land Mobile Network) 정보를 기반하여 표시 언어를 결정할 수 있다. HPLMN 정보는 전자 장치(100)에 기 저장되어 있을 수 있다. 전자 장치(100)는 기 저장된 HPLMN 정보에 포함된 국가 정보(예를 들면, 국가 코드)에 대응되는 언어를 표시 언어로 설정할 수 있다.
일 실시예에 따르면, 전자 장치(100)는 사용자의 입력값에 따라 특정 언어를 표시 언어로 설정 또는 변경할 수도 있다. 전자 장치(100)는 전자 장치(100)에서 기본 언어로 사용 중인 언어를 표시 언어로 설정할 수 있다.
420 동작에서, 전자 장치(100)는 텍스트 데이터를 표시 언어로 번역할 수 있다. 전자 장치(100)는 분석 언어와 표시 언어가 상이한 경우 분석 언어를 기반으로 변환한 텍스트 데이터를 표시 언어로 번역할 수 있다. 전자 장치(100)는 별도의 번역 프로그램 또는 번역 알고리즘을 통하여 텍스트 데이터를 표시 언어로 번역할 수 있다.
430 동작에서, 전자 장치(100)는 번역된 텍스트 데이터를 표시할 수 있다. 즉, 전자 장치(100)는 통화 중에 수신한 음성 데이터를 사용자가 원하는 언어의 텍스트 데이터로 표시할 수 있다.
도 5는 본 발명의 다양한 실시예들에 따른 전자 장치(100)의 통화 내용 표시 방법 중 텍스트 데이터를 표시하는 동작의 다른 예시를 나타내는 순서도이다.
510 동작에서, 전자 장치(100)는 텍스트 데이터에서 기 설정된 단어, 또는 숫자를 검출할 수 있다. 전자 장치(100)는 텍스트 데이터에서 특정 키워드 단어를 검출할 수 있다. 전자 장치(100)는 검출할 특정 키워드 단어들에 대한 정보를 기 저장하고 있을 수 있다. 전자 장치(100)는 텍스트 데이터에서 숫자만(숫자 자체 또는 숫자를 의미하는 단어 등)을 따로 검출할 수 있다.
520 동작에서, 전자 장치(100)는 검출된 단어 또는 숫자를 기반하여 표시 화면을 구성할 수 있다. 전자 장치(100)는 텍스트 데이터에서 특정 단어가 검출되는 부분마다 텍스트 데이터를 분할하여 표시 화면을 구성할 수 있다. 전자 장치(100)는 분할된 텍스트 데이터가 각각 다른 줄 또는 다른 영역에 배치된 표시 화면을 구성할 수 있다. 전자 장치(100)는 통화 연결 중에 상기 표시 화면을 실시간으로 구성 및 수정할 수 있다. 예를 들어, 전자 장치(100)는 음성 데이터를 실시간으로 변환하여 생성 중인 텍스트 데이터를 연속적으로 분석하여 상기 표시 화면에 음성 데이터와 관련된 텍스트 데이터가 실시간으로 차례대로 표시되도록 상기 표시 화면을 수정할 수 있다.
530 동작에서, 전자 장치(100)는 통화 중에 표시 화면을 표시할 수 있다. 상기 표시 화면은 음성 데이터를 수신함에 따라 실시간으로 변경될 수 있다. 예를 들어, 전자 장치(100)는 통화 중에 수신한 음성 데이터의 내용을 나타내는 텍스트 데이터들을 상기 표시 화면에 차례대로 추가하여 표시할 수 있다.
도 6은 본 발명의 다양한 실시예들에 따른 전자 장치(100)의 통화 내용 표시 방법의 순서도이다. 이하, 도 1에 도시된 실시예와 동일한 동작들에 대해서는 간략히 설명한다.
605 동작에서, 전자 장치(100)는 통화를 연결할 수 있다. 610 동작에서, 전자 장치(100)는 연결된 전화가 ARS 전화인지 판단할 수 있다. 전자 장치(100)는 연결된 전화가 ARS 전화가 아닌 경우, 670 동작을 실행하여 통화 내용을 표시하지 않고 일반적인 통화 기능을 실행할 수 있다.
연결된 전화가 ARS 전화인 경우, 615 동작을 실행할 수 있다. 전자 장치(100)는 연결된 전화가 ARS 전화인 경우 통화 시간을 측정할 수 있다. 전자 장치(100)는 통화 연결 시부터의 통화 시간을 측정할 수도 있다.
620 동작에서, 전자 장치(100)는 음성 데이터를 텍스트 데이터로 변환할 수 있다. 625 동작에서, 전자 장치(100)는 변환된 텍스트 데이터를 표시할 수 있다.
630 동작에서, 전자 장치(100)는 사용자 입력을 수신할 수 있다. 예를 들어, 전자 장치(100)는 사용자로부터 표시한 텍스트 데이터에 대응되는 사용자 입력을 수신할 수 있다. 전자 장치(100)는 수신된 사용자 입력의 값들을 저장할 수 있다. 전자 장치(100)는 사용자 입력을 수신한 경우, 사용자 입력을 수신한 때까지의 통화 시간을 측정 및 저장할 수 있다. 예를 들어, 전자 장치(100)는 통화 연결 후 2분 뒤에 사용자 입력을 수신한 경우, 통화 2분 후에 특정 사용자 입력의 값이 입력되었다는 정보를 함께 저장할 수 있다. 전자 장치(100)는 사용자 입력을 여러 차례 수신한 경우, 통화 시작 시간부터 각 사용자 입력을 수신한 때까지의 시간들 및 사용자 입력의 값들을 매핑하여 저장할 수 있다. 예를 들어, ARS 전화 연결 후에 전자 장치(100)가 사용자로부터 숫자 '2'를 사용자 입력으로 수신하고, 2초 후에 숫자 '4'를 사용자 입력으로 수신하고, 3초 후에 숫자 '4'를 사용자 입력으로 수신하고, 12 초 후에 '*'을 사용자 입력으로 수신할 수 있다. 이 경우, 전자 장치(100)는 "'2' 입력, 2초 대기, '4' 입력, 3초 대기, '4' 입력, 12초 대기, '*' 입력"의 일련의 시퀀스를 저장할 수 있다.
635 동작에서, 전자 장치(100)는 ARS 종료 여부를 판단할 수 있다. 전자 장치(100)는 ARS가 종료되지 않은 경우, 610 동작을 수행할 수 있다. 전자 장치(100)는 ARS가 종료된 경우, 640 동작을 수행할 수 있다.
640 동작에서, 전자 장치(100)는 ARS 종료 후, 상대방과 통화 연결 성공 여부를 판단할 수 있다. 예를 들어, 전자 장치(100)는 ARS 음성 서비스 안내 후에 상대방(예를 들면, ARS 서비스의 상담원 등)과 통화가 연결되었는지 판단할 수 있다. 즉, 전자 장치(100)는 ARS 서비스 종료 후 통화가 바로 종료되었는지 또는 상대방과의 통화가 유지되는지를 판단할 수 있다. 전자 장치(100)는 ARS 종료 후 상대방과 통화 연결이 성공한 경우에 665동작을 실행할 수 있다. 전자 장치(100)는 ARS 종료 후 상대방과 통화 연결이 실패한 경우에 645 동작을 실행할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 상대방과 통화 연결이 실패한 경우에는 전화 통화를 종료할 수 있다. 645 동작에서, 전자 장치(100)는 ARS 종료 후 기 설정된 시간이 경과되었는지 판단할 수 있다. 전자 장치(100)는 기 설정된 시간이 경과된 경우 650 동작을 수행할 수 있다. 기 설정된 시간은 통화 재 연결을 실행하기 위한 주기일 수 있다. 예를 들어, 전자 장치(100)는 ARS 종료 후 또는 통화 종료 후에 5분 간격으로 통화를 재 연결하기 위한 준비를 할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 사용자의 입력에 따라 통화를 재 연결하기 위한 시간을 재설정하거나 변경할 수 있다. 즉, 상기 기 설정된 시간은 미리 설정된 값일 수도 있고, 사용자의 입력에 따라 설정된 값일 수 있고, 사용자의 입력에 따라 변경될 수도 있다.
650 동작에서, 전자 장치(100)는 이전에 연결되었던 번호로 통화를 재 연결할 수 있다. 예를 들어, 전자 장치(100)는 이전에 연결되었던 ARS 전화 통화와 동일한 번호로 전화를 연결할 수 있다.
655 동작에서, 전자 장치(100)는 이전에 통화하였던 ARS 전화 번호로 전화를 건 후에 615 동작에서 측정한 통화 시간 경과 후에 630 동작에서 저장한 사용자 입력 값을 재입력할 수 있다. 전자 장치(100)는 이전에 ARS 전화 통화 시에 사용자가 직접 입력하여 진행하였던 ARS 서비스 절차를 자동으로 진행할 수 있다. 예를 들어, 전자 장치(100)는 이전 통화 시에 통화 연결 후 2분 후에 사용자로부터 "2567#0"의 사용자 입력을 수신하였던 경우, 마찬가지로 통화 연결 후 2분 후에 저장하였던 "2567#0"를 입력할 수 있다. 예를 들어, 전자 장치(100)가 630 동작에서 일련의 시퀀스를 저장한 경우, 저장된 시퀀스를 기반하여 이전의 전화 연결 시와 동일한 사용자 입력을 재입력할 수 있다.
660 동작에서, 전자 장치(100)는 ARS 종료 후, 상대방과 통화 연결 성공 여부를 판단할 수 있다. 예를 들어, 전자 장치(100)는 640 동작과 마찬가지로 ARS 음성 서비스 안내 후에 상대방(예를 들면, ARS 서비스의 상담원 등)과 통화가 연결되었는지 판단할 수 있다. 일 실시예에 따르면, 전자 장치(100)는 상대방과 통화 연결이 실패한 경우에는 전화 통화를 종료할 수 있다.일 실시예에 따르면, 전자 장치(100)는 ARS 서비스 종료 후 통화가 바로 종료되었는지 또는 상대방과의 통화가 유지되는지를 판단할 수 있다. 전자 장치(100)는 ARS 종료 후 상대방과의 통화 연결이 실패한 경우, 기 설정된 횟수만큼 645 동작을 반복하여 실행할 수 있다. 즉, 전자 장치(100)는 통화 연결 실패 시에 기 설정된 횟수만큼 반복하여 전화 연결을 시도할 수 있다.
665 동작에서, 전자 장치(100)는 상대방과의 통화 연결이 성공한 것을 사용자에게 알려줄 수 있다. 예를 들어, 전자 장치(100)는 통화 연결 성공을 나타내는 메시지, 아이콘, 창(window)를 표시할 수 있다. 전자 장치(100)는 통화 연결 성공을 알려주는 소리를 출력할 수 있다.
사용자가 ARS 안내 후 상대방(예를 들면, 상담원)과 통화를 원하는 경우에 사용자는 통화 연결이 실패한 경우마다 반복적으로 같은 번호로 전화를 걸 필요가 있다. 또한, 사용자는 전화를 건 경우마다 ARS 서비스 진행 절차를 위한 동일한 정보를 입력할 필요가 있다. 본 발명의 다양한 실시예들에 따르면, 사용자가 ARS 서비스에 이어서 상대방과의 직접적인 통화를 원하는 경우, 전자 장치(100)가 전화 연결 및 ARS 서비스 진행 절차를 자동으로 수행한 후 상대방과의 직접전인 통화 연결이 된 경우에 이를 알려줌으로써, 사용자는 불필요한 반복적인 작업을 수행하지 않을 수 있다.
도 7은 본 발명의 다양한 실시예들에 따른 전자 장치(100) 및 통화 내용 표시 방법에서 통화 중에 수신한 음성 데이터의 내용을 텍스트 데이터로 변환하여 표시한 화면의 일 예시를 나타낸다.
본 발명의 다양한 실시예들에 따르면, 전자 장치(100)는 통화 중에 표시부(130)에 통화 화면을 표시할 수 있다. 통화 화면은 텍스트 데이터를 표시하는 영역(710), 사용자의 통화 중 조작을 위한 영역(720)을 포함할 수 있다. 텍스트 데이터를 표시하는 영역(710)은 수신한 음성 데이터를 변환한 텍스트 데이터를 포함할 수 있다. 예를 들어, ARS 안내 음성에 따라 음성 안내 서비스의 내용이 표시될 수 있다. 전자 장치(100)는 ARS 안내 음성을 분석하여 생성한 텍스트 데이터에서 키워드를 추출한 후, 키워드만을 표시할 수 있다. 예를 들어, "전화 요금 조회는 1번을 눌러 주세요."라는 안내 음성이 나온 경우, 전자 장치(100)는 "1. 전화 요금 조회"라는 텍스트 데이터를 표시할 수 있다. 상기 도 6에 도시된 텍스트 데이터의 내용은 ARS 전화 통화 중에 수신한 음성 데이터에 따라 변경될 수 있다.
일 실시예에 따르면, 전자 장치(100)는 텍스트 데이터에서 특정 문자를 나타내는 특정 텍스트 데이터를 인식할 수 있다. 전자 장치(100)는 전화 번호에서 사용되는 특정 문자들(0, 1, 2, 3, 4, 5, 6, 7, 8, 9, *, #)에 대한 텍스트 데이터를 인식할 수 있다. 전자 장치(100)는 상기 인식된 특정 텍스트 데이터들을 기준으로 표시할 텍스트 데이터를 구성할 수 있다. 전자 장치(100)는 특정 텍스트 데이터가 포함되는 단어를 먼저 표시하고, 특정 텍스트 데이터가 나오기 전에 생성된 텍스트 데이터들을 해당 특정 텍스트 데이터 뒤에 표시할 수 있다.
예를 들어, 전자 장치(100)는 "전화요금조회는 1번 요금제 변경은 2번 ...... 다시듣기는 9번 상담원 연결은 10번을 눌러주세요"라는 음성 데이터를 수신한 경우, 도 7에 도시된 것처럼 "1. 전화요금조회", "2. 요금제 변경", ..., "9. 다시듣기", "10. 상담원 연결" 등의 텍스트 데이터를 구성하여 표시할 수 있다.
다른 예로, 전자 장치(100)는 상기 특정 텍스트 데이터에 예를 들어, ARS 통화 연결 시에 전자 장치(100)가 "사용 요금 소액 결제 청구 요금 확인은 1번 통화 품질 및 분실은 2번 부가 서비스 요금제는 3번 멤버십 로밍은 4번 상담 및 예약서비스는 8번을 눌러주세요"라는 연속되어 입력되는 음성 데이터를 수신한 경우, 전자 장치(100)는 "1번: 사용 요금 소액 결제 청구 요금", "2번: 통화 품질 및 분실", "3번: 부가 서비스 요금제", "4번: 멤버십 로밍", "8번: 상담 및 예약서비스"와 같이 변환된 텍스트 데이터를 별도의 행에 구별하여 표시할 수 있다.
사용자의 통화 중 조작을 위한 영역(720)은 적어도 하나 이상의 특정 기능을 수행할 수 있는 아이콘, 버튼 또는 키를 포함할 수 있다. 예를 들어, 상기 통화 중 조작을 위한 영역은 통화를 녹음하기 위한 녹음 아이콘, 다이얼(예를 들면, 가상 키 패드)를 표시하기 위한 아이콘, 통화를 종료하기 위한 종료 아이콘, 송화음을 차단하기 위한 아이콘, 및 블루투스 기능을 실행하기 위한 아이콘을 포함할 수 있다. 특히, 본 발명의 다양한 실시예들에 따르면, 상기 통화 중 조작을 위한 영역(720)은 통화 내용을 표시 기능을 활성화 또는 불활성화시키기 위한 아이콘(730)을 포함할 수 있다. 사용자는 상기 아이콘(730)을 터치함으로써, 전자 장치(100)의 통화 내용 표시 기능을 실행시키거나 종료시킬 수 있다.
100: 전자 장치 110: 통신부
120: 제어부 130: 표시부
140: 입력부 150: 저장부
160: 오디오부

Claims (20)

  1. 전화 통화 연결 시, 음성 데이터를 송수신하는 통신부;
    음성 데이터를 입력 또는 출력하는 오디오부;
    적어도 하나의 사용자 입력을 수신하는 입력부;
    텍스트 데이터를 표시하는 표시부; 및
    상기 통신부, 상기 오디오부, 상기 입력부 및 상기 표시부와 작동적으로 연결된 제어부를 포함하고,
    상기 제어부는,
    연결된 전화 통화가 ARS(Automatic Response System) 전화인지 판단하고,
    상기 전화 통화가 ARS 전화인 경우, 수신한 음성 데이터를 텍스트 데이터로 변환하고,
    상기 표시부로 상기 변환된 텍스트 데이터를 표시하고,
    ARS 음성을 수신하는 동안 상기 통화의 시작으로부터 상기 적어도 하나의 사용자 입력 각각을 수신한 시간을 측정하고,
    상기 사용자 입력 및 상기 수신한 시간을 매핑하여 저장하고,
    상기 수신한 음성 데이터를 분석하여 ARS 종료 후 상대방과의 통화 연결 성공 여부를 판단하고,
    상대방과의 통화 연결에 실패하는 경우, 일정 시간 간격으로 상기 연결되었던 ARS 전화 번호로 통화를 재연결하고,
    상기 수신한 시간에 따라 상기 저장된 사용자 입력을 재입력하도록 설정된 전자 장치.
  2. 제1항에 있어서, 상기 제어부는
    연결된 전화 통화의 전화 번호가 기 저장된 ARS 번호 리스트에 포함되는 경우 ARS 전화로 판단하는 전자 장치.
  3. 제1항에 있어서, 상기 제어부는
    수신한 음성 데이터를 분석하여, 수신한 음성 데이터가 기계음인 경우 ARS 전화로 판단하는 전자 장치.
  4. 제1항에 있어서, 상기 제어부는
    전자 장치가 전화 연결을 요청한 경우, 전화 연결 요청 후 상대방이 전화를 수신하여 전화 통화가 연결될 때까지의 시간이 기 설정된 시간 이하인 경우 ARS 전화로 판단하는 전자 장치.
  5. 제1항에 있어서, 상기 제어부는
    음성 데이터를 분석할 분석 언어를 결정하고, 수신한 음성 데이터를 음성 공백 기준으로 나누어 저장하고, 저장된 각각의 구간별 음성 데이터를 상기 분석 언어를 기반으로 분석하여 텍스트 데이터로 변환하는 전자 장치.
  6. 제5항에 있어서, 상기 제어부는
    연결된 전화 통화의 상대방의 전화 번호 또는 이용 중인 네트워크의 PLMN(Public Land Mobile Network) ID를 기반으로 상기 분석 언어를 결정하는 전자 장치.
  7. 제1항에 있어서, 상기 제어부는
    상기 텍스트 데이터를 표시할 표시 언어를 결정하고, 상기 변환된 텍스트 데이터를 상기 결정된 표시 언어로 번역하고, 상기 번역된 텍스트 데이터를 표시하도록 제어하는 전자 장치.
  8. 제7항에 있어서, 상기 제어부는
    기 저장된 HPLMN(Home Public Land Mobile Network) 정보를 기반하여 상기 표시 언어를 결정하는 전자 장치.
  9. 제1항에 있어서, 상기 제어부는
    상기 텍스트 데이터에서 기 설정된 특정 단어 또는 숫자를 검출하고, 상기 검출된 특정 단어 또는 숫자를 기반하여 표시 화면을 구성하고, 상기 표시 화면을 표시하도록 제어하는 전자 장치.
  10. 제1항에 있어서,
    상기 제어부는
    상기 전자 장치가 전화 연결을 요청한 경우, 상기 요청으로부터 호 제어 메시지(call control message) 및 연결 확인(connect ack)까지의 시간이 기 설정된 시간 미만인 경우 상기 전화 통화를 ARS 전화로 판단하는 전자 장치.
  11. 전자 장치의 통화 내용 표시 방법에 있어서,
    전화 통화를 연결하는 동작;
    연결된 전화 통화가 ARS 전화인지 판단하는 동작;
    적어도 하나의 사용자 입력을 수신하는 동작;
    연결된 전화 통화가 ARS 전화인 경우, 수신한 음성 데이터를 분석하여 텍스트 데이터로 변환하는 동작;
    상기 변환된 텍스트 데이터를 표시하는 동작;
    ARS 음성을 수신하는 동안 상기 통화의 시작으로부터 상기 적어도 하나의 사용자 입력 각각을 수신한 시간을 측정하는 동작;
    상기 사용자 입력 및 상기 수신한 시간을 매핑하여 저장하는 동작;
    상기 수신한 음성 데이터를 분석하여 상기 ARS 종료 후 상대방과의 통화 연결 성공 여부를 판단하는 동작;
    상대방과의 통화 연결에 실패하는 경우, 일정 시간 간격으로 상기 연결되었던 ARS 전화 번호로 통화를 재연결하는 동작; 및
    상기 수신한 시간에 따라 상기 저장된 사용자 입력을 재입력하는 동작을 포함하는 통화 내용 표시 방법.
  12. 제11항에 있어서, 상기 ARS 전화인지 판단하는 동작은
    연결된 전화 통화의 전화 번호가 기 저장된 ARS 번호 리스트 또는 ARS 서버로부터 수신한 정보를 기반하여 ARS 전화인지 판단하는 통화 내용 표시 방법.
  13. 제11항에 있어서, 상기 ARS 전화인지 판단하는 동작은
    전자 장치가 전화 연결을 요청한 경우, 전화 연결 요청 후 상대방이 전화를 수신하여 전화 통화가 연결될 때까지의 시간이 기 설정된 시간 이하인 경우 ARS 전화로 판단하는 통화 내용 표시 방법.
  14. 제11항에 있어서, 상기 ARS 전화인지 판단하는 동작은
    수신한 음성 데이터를 분석하여, 수신한 음성 데이터가 기계음인 경우 ARS 전화로 판단하는 통화 내용 표시 방법.
  15. 제11항에 있어서, 상기 텍스트 데이터로 변환하는 동작은
    음성 데이터를 분석할 분석 언어를 결정하는 동작;
    수신한 음성 데이터를 음성 공백을 기준으로 구간을 나누어 저장하는 동작; 및
    저장된 각각의 구간별 음성 데이터를 상기 분석 언어를 기반으로 분석하여 텍스트 데이터로 변환하는 동작을 포함하는 통화 내용 표시 방법
  16. 제11항에 있어서, 상기 표시하는 동작은
    상기 텍스트 데이터를 표시할 표시 언어를 결정하는 동작;
    상기 변환된 텍스트 데이터를 상기 결정된 표시 언어로 번역하는 동작; 및
    상기 번역된 텍스트 데이터를 표시하는 동작을 포함하는 통화 내용 표시 방법.
  17. 제11항에 있어서, 상기 표시하는 동작은
    상기 텍스트 데이터에서 기 설정된 특정 단어, 또는 숫자를 검출하는 동작;
    상기 검출된 특정 단어, 또는 숫자를 기반하여 표시 화면을 구성하는 동작; 및
    상기 표시 화면을 표시하는 동작을 포함하는 통화 내용 표시 방법.
  18. 제11항에 있어서,
    제11항에 있어서,
    상기 ARS 전화인지 판단하는 동작은,
    상기 전자 장치가 전화 연결을 요청한 경우, 상기 요청으로부터 호 제어 메시지(call control message) 및 연결 확인(connect ack)까지의 시간이 기 설정된 시간 미만인 경우 상기 전화 통화를 ARS 전화로 판단하는 동작을 포함하는 통화 내용 표시 방법.
  19. 제15항에 있어서, 상기 분석 언어를 결정하는 동작은
    연결된 전화 통화의 상대방의 전화 번호 또는 이용 중인 네트워크의 PLMN ID를 기반하여 상기 분석 언어를 결정하는 통화 내용 표시 방법.
  20. 제16항에 있어서, 상기 표시 언어를 결정하는 동작은
    상기 전자 장치의 HPLMN 정보를 이용하여 상기 표시 언어를 결정하는 통화 내용 표시 방법.
KR1020140121979A 2014-09-15 2014-09-15 전자 장치 및 통화 내용 표시 방법 KR102341862B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140121979A KR102341862B1 (ko) 2014-09-15 2014-09-15 전자 장치 및 통화 내용 표시 방법
US14/850,269 US9560188B2 (en) 2014-09-15 2015-09-10 Electronic device and method for displaying phone call content

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140121979A KR102341862B1 (ko) 2014-09-15 2014-09-15 전자 장치 및 통화 내용 표시 방법

Publications (2)

Publication Number Publication Date
KR20160031798A KR20160031798A (ko) 2016-03-23
KR102341862B1 true KR102341862B1 (ko) 2021-12-21

Family

ID=55456042

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140121979A KR102341862B1 (ko) 2014-09-15 2014-09-15 전자 장치 및 통화 내용 표시 방법

Country Status (2)

Country Link
US (1) US9560188B2 (ko)
KR (1) KR102341862B1 (ko)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8874477B2 (en) 2005-10-04 2014-10-28 Steven Mark Hoffberg Multifactorial optimization system and method
US11272047B1 (en) * 2010-01-13 2022-03-08 Ultratec, Inc. 911 call assistance for assisted device user
US9350857B1 (en) 2014-12-16 2016-05-24 Ultratec, Inc. 911 call assistance for assisted device user
JP2018129562A (ja) * 2017-02-06 2018-08-16 京セラ株式会社 携帯電話
KR102453161B1 (ko) 2018-01-31 2022-10-12 삼성전자주식회사 자동 응답 시스템으로 개인 정보를 전송하기 위한 장치 및 방법
CN109274840A (zh) * 2018-09-10 2019-01-25 珠海格力电器股份有限公司 一种语音应答系统中的信息交互方法及装置
CN109327614B (zh) * 2018-10-17 2021-01-26 永德利硅橡胶科技(深圳)有限公司 全球同声传译手机及方法
TR201818973A2 (tr) * 2018-12-10 2019-02-21 Tuerkiye Garanti Bankasi Anonim Sirketi Arama i̇çeri̇ği̇yle i̇li̇şki̇li̇ kullanici arayüzü sağlayan bi̇r si̇stem
US11805189B1 (en) * 2020-09-17 2023-10-31 Intrado Life & Safety, Inc. Publish and subscribe call center architecture

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101380430B1 (ko) * 2012-12-20 2014-04-01 주식회사 팬택 통화 중 편의정보를 제공하는 휴대 단말 및 휴대 단말 상에서 통화 중 편의정보를 제공하는 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100383053B1 (ko) 2000-10-24 2003-05-22 한태현 이동전화용 음성 인식 전화번호 저장 및 안내, 자동연결방법 및 그 시스템
KR20010069409A (ko) 2001-03-20 2001-07-25 김선영 기계음 인식기능을 갖는 디지털 휴대용전화기의 전화번호검색 및 다이얼링 방법
KR100396048B1 (ko) * 2001-03-27 2003-08-27 세진텔레시스 주식회사 자동 다이얼링 장치
JP2003288340A (ja) 2002-03-27 2003-10-10 Ntt Comware Corp 通話翻訳装置
KR20050107561A (ko) 2005-10-24 2005-11-14 (주)에스비엔테크 청각장애인 및 난청인용 통화 자막휴대폰과 실시간 문자전송(중계)시스템
KR20100123329A (ko) * 2009-05-15 2010-11-24 주식회사 엘지유플러스 이동통신단말의 사용환경 설정 변경 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101380430B1 (ko) * 2012-12-20 2014-04-01 주식회사 팬택 통화 중 편의정보를 제공하는 휴대 단말 및 휴대 단말 상에서 통화 중 편의정보를 제공하는 방법

Also Published As

Publication number Publication date
KR20160031798A (ko) 2016-03-23
US9560188B2 (en) 2017-01-31
US20160080558A1 (en) 2016-03-17

Similar Documents

Publication Publication Date Title
KR102341862B1 (ko) 전자 장치 및 통화 내용 표시 방법
JP7110451B2 (ja) 通知処理方法、電子デバイス、コンピュータ可読記憶媒体、およびプログラム
CN111984165B (zh) 一种显示消息的方法、装置及终端设备
JP6321296B2 (ja) テキスト入力方法、装置、プログラム及び記録媒体
EP3015978A1 (en) Gesture-based conversation processing method, apparatus, and terminal device
JP2018074366A (ja) 電子機器、制御方法およびプログラム
EP2690845A1 (en) Method and apparatus for initiating a call in an electronic device
JP2011238220A (ja) コンテキスト認識型ヘルプ・コンテンツを提供する方法、デバイス、及びコンピュータ・プログラム製品
CN106873834B (zh) 识别按键被触发的方法及装置和移动终端
WO2020119486A1 (zh) 一种切换支付功能方法及电子设备
US9565289B2 (en) Mobile terminal and method of controlling the same
CN106485660B (zh) 电子地图的缩放方法和装置
WO2019233318A1 (zh) 内容识别方法、装置及移动终端
JP2017525076A (ja) キャラクタ特定方法、装置、プログラムおよび記録媒体
CN105407160A (zh) 界面显示方法和装置
US20190340601A1 (en) Method And Mobile Device For Transmitting Data By Using Barcode
CN105933492A (zh) 电话号码获取方法及装置
US11756573B2 (en) Electronic apparatus and control method thereof
US9065920B2 (en) Method and apparatus pertaining to presenting incoming-call identifiers
CN106469310A (zh) 图片中字符提取方法及装置
CN111357280A (zh) 视频通话控制方法及装置
CN106301831B (zh) 一种互联网传输信息的动态配置方法、动态配置系统、服务器及用户终端

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant