[go: up one dir, main page]
More Web Proxy on the site http://driver.im/

KR100775190B1 - 멀티미디어 합성 방법 및 이를 이용한 단말기 - Google Patents

멀티미디어 합성 방법 및 이를 이용한 단말기 Download PDF

Info

Publication number
KR100775190B1
KR100775190B1 KR1020060046751A KR20060046751A KR100775190B1 KR 100775190 B1 KR100775190 B1 KR 100775190B1 KR 1020060046751 A KR1020060046751 A KR 1020060046751A KR 20060046751 A KR20060046751 A KR 20060046751A KR 100775190 B1 KR100775190 B1 KR 100775190B1
Authority
KR
South Korea
Prior art keywords
data
motion
voice
recognized
multimedia
Prior art date
Application number
KR1020060046751A
Other languages
English (en)
Inventor
박운기
황영휘
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR1020060046751A priority Critical patent/KR100775190B1/ko
Application granted granted Critical
Publication of KR100775190B1 publication Critical patent/KR100775190B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/02—Constructional features of telephone sets
    • H04M1/23—Construction or mounting of dials or of equivalent devices; Means for facilitating the use thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/34—Microprocessors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/40—Electronic components, circuits, software, systems or apparatus used in telephone systems using speech recognition
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/52—Details of telephonic subscriber devices including functional features of a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Telephone Function (AREA)
  • Telephonic Communication Services (AREA)

Abstract

본 발명은 입력되는 데이터를 인식하여 다양한 멀티미디어 데이터와 화상 데이터를 실시간 합성하여 이를 다양한 응용 서비스에 이용할 수 있도록 하는 멀티미디어 데이터 합성 방법 및 이를 이용한 단말기에 관한 것이다.
본 발명에 따른 멀티미디어 데이터 합성 방법은, 입력되는 사물의 움직임 정보, 단말기의 움직임 정보, 음성 정보, 문자 정보 중 적어도 어느 하나 이상의 정보를 인식하는 단계; 상기 인식된 정보를 이용하여 데이터 베이스를 검색하고 인식된 정보에 대응되어 저장된 멀티미디어 데이터를 검출하는 단계; 상기 검출된 멀티미디어 데이터를 실시간 입력되는 동영상 데이터에 자동으로 합성하는 단계를 포함하는 것을 특징으로 한다.
화상통화, 동영상, 멀티미디어, 합성

Description

멀티미디어 합성 방법 및 이를 이용한 단말기{Method for Multimedia Synthesis and terminal using the same}
도 1은 본 발명의 실시 예에 따른 멀티미디어 합성 기능을 가지는 단말기의 구성을 나타내는 도면.
도 2는 본 발명의 실시 예에 따른 동작 인식을 이용한 화상 데이터 합성 방법을 나타내는 플로우 차트.
도 3은 본 발명의 실시 예에 따른 음성 인식을 이용한 화상 데이터 합성 방법을 나타내는 플로우 차트.
도 4는 본 발명의 실시 예에 따른 움직이는 캐릭터를 나타내는 도면.
도 5는 본 발명의 실시 예에 따른 동작 인식과 멀티미디어 데이터를 등록하는 화면을 나타내는 도면.
도 6은 본 발명의 실시 예에 따른 음성 인식과 멀티미디어 데이터를 등록하는 화면을 나타내는 도면.
도 7은 본 발명의 실시 예예 따른 화상 통화 화면을 보여주는 도면.
본 발명은 입력되는 데이터를 인식하여 다양한 멀티미디어 데이터와 화상 데이터를 실시간 합성하여 이를 다양한 응용 서비스에 이용할 수 있도록 하는 멀티미디어 데이터 합성 방법 및 이를 이용한 단말기에 관한 것이다.
일반적으로 이동통신 단말기는 이동 중에도 양자간에 의사소통을 가능하게 하며, 초기에 음성급 신호 매체를 위주로 통신하였고, 다음 세대에서는 문자급 데이터 신호 매체를 이용하여 메시지 또는 이메일 등과 같은 대량의 정보를 빠르게 전송하는 통신방식으로 발전하게 되었으며, 현재의 3세대에서는 상기의 음성급 매체와 문자급 매체에 영상급 매체를 포함하는 멀티미디어(Multimedia) 방식으로, 보다 많은 정보를 상대방에게 신속하게 전송하는 통신방식으로 발전하였다.
따라서 최근에는 멀티미디어 서비스(Multimedia Service)에 대한 요구 및 그 활용이 높아지고 있으며, 특히 이동통신 단말기의 경우 카메라 기능을 이용한 동영상 녹화 서비스(Camcorder Serviec), 멀티미디어 메시지 서비스(MMS;Multimedia Messaging Service), 화상 통화 서비스(Video Telephony Service)등 오디오, 비디오, 이미지 등의 다양한 멀티미디어 데이터를 이용한 서비스가 제공되고 있다.
하지만 이동통신 단말기에서 동영상 녹화 서비스나 화상통화 시에 실시간 영상 및 음성 데이터를 주고 받는 것을 제외하고 추가적인 멀티미디어 데이터를 합성하여 전송하는 기술은 아직까지 제안되지 않고 있다.
본 발명의 목적은 입력되는 움직임 정보, 음성 정보, 문자 정보 등을 인식하고 그 인식된 정보에 대응되는 멀티미디어 데이터를 화상 데이터와 실시간 합성하 여 다양한 응용 서비스에 이용할 수 있도록 하는 멀티미디어 데이터 합성 방법 및 이를 이용한 단말기를 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 멀티미디어 데이터 합성 방법은, 입력되는 사물의 움직임 정보, 단말기의 움직임 정보, 음성 정보, 문자 정보 중 적어도 어느 하나 이상의 정보를 인식하는 단계; 상기 인식된 정보를 이용하여 데이터 베이스를 검색하고 인식된 정보에 대응되어 저장된 멀티미디어 데이터를 검출하는 단계; 상기 검출된 멀티미디어 데이터를 실시간 입력되는 동영상 데이터에 자동으로 합성하는 단계를 포함하는 것을 특징으로 한다.
삭제
또한 상기와 같은 목적을 달성하기 위한 본 발명에 따른 단말기는, 사물의 움직임 데이터와 단말기의 움직임 데이터 중 어느 하나 이상의 데이터를 입력받아 이를 인식하는 동작 인식 모듈과; 상기 인식된 움직임 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와; 상기 동작 인식 모듈을 통해 인식된 움직임 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 움직임 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한 본 발명에 따른 단말기는, 음성 데이터를 입력받고 이를 인식하는 음성 인식 모듈과; 상기 인식된 음성 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와; 상기 음성 인식 모듈을 통해 인식된 음성 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 음성 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한 본 발명에 따른 단말기는, 문자 데이터를 입력받아 이를 인식하는 문자 인식 모듈과; 상기 인식된 문자 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와; 상기 문자 인식 모듈을 통해 인식된 문자 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 문자 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
또한 본 발명에 따른 단말기는, 사물의 움직임 데이터와 단말기의 움직임 데이터 중 어느 하나 이상을 입력받아 이를 인식하는 동작 인식 모듈과; 음성 데이터를 입력받아 이를 인식하는 음성 인식 모듈과; 문자 데이터를 입력받아 이를 인식하는 문자 인식 모듈과; 상기 인식된 데이터와 대응하여 저장된 멀티미디어 데이터와 실시간 입력되는 화상 데이터를 합성하는 동영상 합성부와; 상기 동작 인식 모듈을 통해 인식된 움직임 데이터와 음성 인식 모듈을 통해 인식된 음성 데이터과 문자 인식 모듈을 통해 인식된 문자 데이터 중 적어도 어느 하나 이상의 데이터가 데이터 베이스에 등록되어 있는지 검색하고 그에 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 한다.
본 발명에서는 이통통신 단말기를 이용하여 화상 통화시 화상 데이터와 멀티미디어 데이터의 합성을 실시 예로 들어 설명하며 이에 한정되지 않는다.
또한 상기 화상 통화시 송수신되는 동영상 데이터와 음성 데이터를 화상 데이터로 지칭하여 설명한다.
이하 첨부된 도면을 참조하여 본 발명의 실시 예를 설명하면 다음과 같다.
도 1은 본 발명의 실시 예에 따른 멀티미디어 합성 기능을 가지는 단말기의 구성을 나타내는 도면이다.
도 1을 참조하면, 단말기 사용을 위한 키조작 및 멀티미디어 컨텐츠 합성과 관련한 명령과 문자 등의 데이터를 입력하는 키 입력부(11)와, 상기 입력된 문자를 인식하는 문자 인식 수단(12)을 포함하는 문자 인식 모듈(10)과; 사물의 움직임 정보를 입력받는 카메라(21)와, 단말기의 움직임 정보를 입력받는 동작 검출 센서와(22), 상기 사물과 단말기의 움직임 정보 중 어느 하나 이상의 정보를 이용하여 동작을 인식하는 동작 인식 수단(23)을 포함하는 동작 인식 모듈(20)과; 음성 데이터를 입력받는 오디오 입력부(31)와, 상기 입력된 음성을 인식하는 음성 인식 수단(32)을 포함하는 음성 인식 모듈(30)과; 다양한 멀티미디어 데이터를 저장하고 있는 메모리부(40)와; 상기 멀티미디어 데이터를 디코딩하는 디코더부(50)와; 실시간 입력되는 화상 데이터에 상기 디코딩된 멀티미디어 데이터를 합성하는 동영상 합성 부(60)와; 상기 합성된 화상 데이터의 동영상을 출력하는 디스플레부(70)와; 음성을 출력하는 오디오 출력부(80)와; 상기 합성된 화상 데이터를 압축하는 인코더부(90)와; 상기 압축된 화상 데이터를 상대방 단말기로 전송하는 송수신부(100)와; 상기 단말기 각 부의 동작을 제어하며 상기 입력되는 데이터를 인식하여 미리 등록되어 있는 인식 데이터를 검색하고 그에 대응되어 저장된 멀티미디어 데이터를 검출하여 합성되도록 제어하는 제어부(110)를 포함하여 구성된다.
여기서 상기 디코더(50)는 멀티미디어 데이터만을 디코딩하는 별도의 멀티미디어 디코더를 더 포함하여 구성할 수 있다.
화상 통화를 위해 상기 송수신부(100)는 호 관련 정보를 포함한 호 접속 메시지 및 화상 데이터를 상대 단말로 전송하고, 상대 단말로부터 전송되는 호 관련 정보를 포함하는 호 접속 메시지 및 상대 단말 사용자의 화상 데이터를 수신한다.
상기 카메라(21)는 화상 통화시 상대방 단말에 출력될 사용자를 촬영하며, 오디오 입력부(31)로는 상대방 단말에 출력될 음성이 입력되어 상기 인코더부(90)를 통해 압축되어 상대방 단말기로 전송된다.
또한 상대방 단말로부터 전송되어 수신된 화상 데이터는 디코더(50)부에서 디코딩하여 동영상은 디스플레이부(70)에 표시되고 음성은 오디오 출력부(80)로 출력되어 상대방과 화상통화를 실시하게 된다.
이때, 화상 통화시 입력되는 문자 정보, 사물의 움직임 정보, 단말기의 움직임 정보, 음성 정보 등을 인식하여 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 자동으로 합성할 수 있다.
예를 들면, 사용자는 키 입력부(11)를 통해 입력되는 문자, 카메라(21)를 통해 입력되는 사물의 움직임 정보, 동작 검출 센서(22)로부터 입력되는 단말기의 움직임 정보, 오디오 입력부(31)로 입력되는 음성정보 중 어느 하나 이상을 선택하여 멀티미디어 데이터가 화상 데이터에 합성되도록 선택할 수 있다.
상기 메모리(40)에는 멀티미디어 데이터로 사용하기 위한 그래픽(예:AGIF,SVG,Flast 등), 이미지(예:JPEG,BMP 등), 동영상(예:MPEG4,H.263,H.264 등), 문자(예:Text 등), 오디오(예:AAC, QCELP 등) 등의 일반적인 모든 멀티미디어 데이터가 저장되어 있다.
여기서 사용자는 인식되기 원하는 문자를 등록하고 그 문자와 대응되도록 멀티미디어 데이터를 저장할 수 있으며, 또한 인식되기 원하는 움직임 정보 또는 인식되기 원하는 음성 정보 등을 등록하고 그에 대응되도록 멀티미디어 데이터를 저장하여 데이터 베이스를 생성하고 상기 데이터 베이스는 메모리(40)에 저장된다.
상기 문자 인식 수단(12)은 키 입력부(11)를 통해 실시간 입력되는 문자를 인식하고 이를 제어부(110)로 출력한다.
이때 상기 제어부(110)는 인식된 문자 정보를 이용하여 메모리부(40)의 데이터 베이스를 검색하여 그 인식된 문자 정보가 등록되어 있는지 검색한 후 그 문자 정보에 대응되어 저장된 멀티미디어 데이터를 검출한다.
상기 카메라(21)는 실시간으로 사용자의 움직임 정보 등 사물의 움직임 정보를 동작 인식 수단(23)으로 출력하며, 상기 동작 검출 센서(22)는 단말기 내에 장착되어 단말기의 실시간 움직임 정보를 동작 인식 수단(23)으로 출력한다.
여기서 상기 동작 검출 센서(22)는 자이로 센서(Gyro sensor)를 포함할 수 있으며 단말기의 움직임을 감지할 수 있는 어떠한 센서라도 가능하며, 단말기의 전후 또는 좌우 방향 등의 움직임을 인식한다.
상기 동작 인식 수단(23)은 입력되는 단말기의 움직임 정보, 사용자의 움직임 정보를 적어도 하나 이상 이용하여 움직임을 인식하고 이를 제어부(110)로 출력한다.
이때 상기 제어부(110)는 인식된 움직임 정보를 이용하여 그 인식된 움직임정보가 등록되어 있는지 메모리부(40)의 데이터 베이스를 검색하고 그 움직임 정보에 대응되어 저장된 멀티미디어 데이터를 검출한다.
또한 상기 오디오 입력부(31)로 실시간 입력되는 음성을 음성 인식 수단(32)으로 출력되고, 상기 음성 인식 수단(32)은 입력되는 음성을 인식하여 제어부(110)로 출력한다.
마찬가지로, 상기 제어부(110)는 상기 인식된 음성을 이용하여 그 인식된 음성 정보가 등록되어 있는지 메모리부(40)의 데이터 베이스를 검색하고 그 음성에 대응되어 저장된 멀티미디어 데이터를 검출한다.
상기와 같이 검출된 멀티미디어 데이터는 디코더부(50)를 통해 디코딩되어 동영상 합성부(60)로 출력된다
여기서 디코더부(50)는 합성을 위해 메모리(40)에 저장된 멀티미디어 데이터만을 디코딩하는 별도의 멀티미디어 디코더부를 포함할 수 있으며, 단말기를 이용하여 합성할 수 있는 그래픽(예:AGIF,SVG,Flast 등), 이미지(예:JPEG,BMP 등), 동 영상(예:MPEG4,H.263,H.264 등), 문자(예:Text 등), 오디오(예: AAC, QCELP 등) 등의 모든 멀티미디어 데이터를 디코딩할 수 있다.
상기 동영상 합성부(60)는 디코딩된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하여 디스플레이부(70) 및 오디오 출력부(80)로 출력하고 이를 통해 합성된 화상 데이터를 확인할 수 있다.
또한 인코더부(90)에서는 상기 합성된 화상 데이터를 압축하여 송수신부(100)를 통해 상대방 단말기에 전송하게 된다.
상기 제어부(110)는 단말기 각 부의 동작을 전반적으로 제어하며 키 입력부(11)를 통해 입력되는 문자 정보와, 카메라(21)를 통해 입력되는 사용자의 움직임 정보와, 동작 검출 센서(22)를 통해 입력되는 단말기의 움직임 정보와, 오디오 입력부(31)로 입력되는 음성 정보 중 어느 하나 이상의 정보가 인식되도록 문자 인식 수단(12), 동작 인식 수단(23), 음성인식 수단(32)을 제어하고, 메모리부(40)에서 상기 인식된 정보가 등록되어 있는지 검색하여 그 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부(60)를 통해 실시간 입력되는 화상 데이터와 합성되도록 제어한다.
예를 들면, 사용자는 미리 카메라(21)를 통해 손을 좌우로 흔드는 동작을 인식시켜 등록하고 상기 동작에 대응하여 손을 흔드는 모습의 캐릭터를 저장한다.
이후, 화상 통화시 카메라(21)를 통해 사용자가 손을 흔드는 동작을 취하면 동작 인식 수단(23)에서는 이를 인식하여 제어부(110)로 출력하고, 제어부(110)는 상기 인식된 정보를 이용하여 메모리부(40)에 미리 인식시킨 동작 정보를 검색하고 그와 함께 대응되어 저장된 손을 흔드는 모습의 캐릭터를 검출하게 된다.
동시에 카메라(21)를 통해 입력되는 사용자가 손을 흔드는 화상 데이터는 카메라의 입력버퍼에 저장되고 상기 검출된 캐릭터는 디코더부(50)에서 디코딩된다.
이때 상기 입력버퍼에 저장되어 있는 실시간 입력되는 화상 데이터와 상기 디코딩된 캐릭터는 동영상 합성부(60)를 통해 합성되며 이를 디스플레이부(70)와 오디오 출력부(80)로 출력하여 합성된 화상 데이터를 확인할 수 있으며, 인코더부(90)를 통해 합성된 화상 데이터를 압축하고 송수신부(100)를 통해 실시간 전송 또는 메모리부(40)에 저장된다.
또한 전술한 바와 같이, 화상 통화시 입력되는 음성 또는 단말기 움직임 정보를 입력받아 이를 인식하고 그 인식된 정보에 의해 메모리(40)에 미리 등록되어 있는 해당하는 음성 또는 단말기의 움직임에 대응되어 저장되어 있는 멀티미디어 데이터를 검출하여 실시간으로 입력되는 화상 데이터에 합성할 수 있다.
따라서 사용자가 손을 흔드는 동작을 취할 때, 상기 손을 흔드는 모습의 캐릭터가 단말기 화면의 소정의 위치에 실시간으로 표시됨으로써 화상 통화시 재미를 유발시킬 수 있다. 여기서 상기 캐릭터의 크기 및 위치는 변경될 수 있다.
도 2는 본 발명의 실시 예에 따른 동작 인식을 이용한 화상 데이터 합성 방법을 나타내는 플로우 차트이다.
도2를 참조하면, 카메라(21)를 통해 실시간으로 영상이 입력되면(S11), 상기 영상을 카메라 입력버퍼에 저장한다(S12).
이때, 동작인식 수단(23)에서는 영상의 움직임을 인식하고(S13), 상기 인식 된 움직임 정보를 이용하여 메모리부(40)의 데이터 베이스에 인식될 움직임 정보가 등록되어 있는지 검색하고, 상기 검색된 움직임 정보와 함께 대응되어 저장된 멀티미디어 데이터를 검출한다(S14).
이후, 상기 검출된 멀티미디어 데이터를 디코딩하여(S15), 상기 입력버퍼에 저장되어 있는 실시간 영상과 자동으로 합성하고(S16), 상기 합성된 멀티미디어 데이터는 인코더부(90)를 통해 압축되어(S17), 실시간 전송 또는 사용자 단말기에 저장된다(S18).
예를 들면, 동영상 압축 표준인 MPEG4로 압축하고 상대방에게 실시간 전송하여 화상 통화시 사용자의 영상과 함께 멀티미디어 데이터가 표시되도록 하거나 사용자 단말기에 저장할 수 있다.
여기서, 상기 멀티미디어 데이터는 그래픽(예:AGIF,SVG,Flast 등), 이미지(예:JPEG,BMP 등), 동영상(예:MPEG4,H.263,H.264 등), 문자(예:Text 등), 오디오(예: AAC, QCELP 등) 등을 포함할 수 있으며, 인터넷을 통해 다운로드 하거나 상기 멀티미디어 데이터를 제공하는 사업자가 있으면 사업자로부터 구매하여 사용할 수 있다.
또한 상기 멀티미디어 데이터는 실시간 영상과 합성되도록 사용자가 소정의 동작을 미리 등록하고 그 동작에 대응되는 적어도 하나 이상의 멀티미디어 데이터를 저장하여, 예를 들면 인식된 동작에 대응하여 저장되어 있는 음악을 배경음악으로 삽입함과 동시에 움직이는 캐릭터 등을 실시간 입력되는 화상 데이터에 자동으로 삽입 및 합성시킬 수 있다.
또한 사용자는 상기 멀티미디어 데이터가 합성되어 화면에 표시될 위치 및 크기 등을 미리 등록 또는 수정할 수 있으며 별도의 폴더를 생성하여 멀티미디어 데이터를 저장하여 관리할 수 있다.
도 3은 본 발명의 실시 예에 따른 음성 인식을 이용한 화상 데이터 합성 방법을 나타내는 플로우 차트이다.
도 3을 참조하면, 카메라(21)를 통해 실시간으로 영상이 입력되고(S21), 상기 입력되는 영상을 카메라 입력버퍼에 저장하고(S22), 동시에 오디오 입력부(31)를 통해서는 실시간으로 음성이 입력되고(S31), 상기 실시간 입력되는 음성을 오디오 버퍼에 저장한다(S32).
이때, 음성 인식 수단(32)에서는 입력되는 음성을 인식하고, 상기 인식된 음성이 메모리부(40)의 데이터 베이스에 등록되어 있는지 검색하고, 음성이 검색되면 그 음성과 함께 대응되어 저장된 멀티미디어 데이터를 검출한다(S33).
상기 검출된 멀티미디어 데이터를 디코딩하여(S34), 상기 입력버퍼에 저장되어 있는 실시간 영상과 자동으로 합성하고(S23), 상기 합성된 멀티미디어 데이터는 인코더부(90)를 통해 압축되어(S24), 실시간 전송 또는 사용자 단말기에 저장된다(S25).
또한 다른 실시 예로 화상 통화시 실시간 입력되는 문자를 인식하여 메모리부(40)의 데이터 베이스에 미리 인식되도록 등록된 문자를 검색하고 그 대응되어 저장되어 있는 멀티미디어 데이터를 검출하여 화상 데이터와 실시간으로 합성할 수 있다.
다음으로 전술한 동작 인식과 음성 인식 방법을 통해 화상 데이터와 멀티미디어 데이터를 합성하는 방법을 이동통신 단말기에 디스플레이 되는 화면을 예로 들어 자세히 설명한다.
도 4는 본 발명의 실시 예에 따른 움직이는 캐릭터를 나타내는 도면이며, 도 5는 본 발명의 실시 예에 따른 동작 인식과 멀티미디어 데이터를 등록하는 화면을 나타내는 도면이며, 도 6은 본 발명의 실시 예에 따른 음성 인식과 멀티미디어 데이터를 등록하는 화면을 나타내는 도면이다.
도 5를 참조하면, 사용자는 단말기의 화면(121)에서 메뉴 버튼(121-1)을 눌러 아이콘으로 디스플레이되는 세부 메뉴 화면(122)에서 카메라 관련 메뉴(122-1)를 선택한다.
이후 카메라 관련 메뉴가 목록 메뉴 화면(123)으로 상세히 디스플레이 되면, 그 목록에서 캐릭터를 등록 및 수정할 수 있는 메뉴를 선택한다.
즉, 도 4의 움직이는 캐릭터에서 화상 데이터에 합성시킬 하트 캐릭터(120)를 선택하여 등록된 모습을 화면(124)으로 확인할 수 있으며, 상기 등록된 하트 캐릭터(120)를 다시 선택하면, 상기 하트 캐릭터(120)의 위치를 변경할 수 있는 화면(125)이 디스플레이 된다.
이때 사용자는 키 입력부(11)에 포함된 방향키 등을 이용하여 하트 캐릭터(120)의 위치를 이동시키고 이를 화면(126)으로 확인할 수 있으며 저장 버튼을 눌러 저장한다.
이후 상기 하트 캐릭터(120)의 크기를 변경할 수 있는 화면(127)이 디스플레 이 되어 하트 캐릭터(120)의 크기를 변경할 수 있으며 크기 변경 후 동작 등록 버튼(127-1)을 누른다.
이후 동작 관련 목록 화면(128)이 디스플레이 되고, 사용자는 상기 목록(128-1~128-3)중에서 어느 하나 이상을 선택하여 상기 하트 캐릭터(120)를 검출하여 합성되도록 하는 동작을 선택하게 된다.
자세히 설명하면, '핸드폰을 좌우로 흔든다'(128-1)라는 메뉴를 선택하여 상기 하트 캐릭터(120)를 저장하면, 화상 통화시 동작 검출 센서(22)를 통해 단말기의 좌우 움직임이 감지되면 이를 동작 인식 수단(23)으로 출력하고, 메모리부(40)에 미리 등록된 핸드폰을 좌우로 흔드는 움직임 정보를 검색하고 그 대응되어 저장된 하트 캐릭터(120)를 검출하여 실시간 입력되는 화상 데이터에 자동으로 합성하게 된다.
또한 '카메라에서 손을 좌우로 흔든다'(128-3)라는 메뉴를 선택하여 상기 하트 캐릭터(120)를 저장한다고 하면, 화상 통화시 카메라(21)를 통해 입력되는 사용자의 손을 좌우로 흔드는 움직임을 인식하여 이를 동작 인식 수단(23)으로 출력하고, 메모리부(40)에 미리 등록된 손을 좌우로 흔드는 움직임 정보를 검색하고 그 대응되어 저장된 하트 캐릭터(120)를 검출하여 실시간 입력되는 화상 데이터에 자동으로 합성하게 된다.
여기서 동작 인식을 위한 상기 움직임 정보들은 사용자가 임의로 등록하여 설정하거나, 단말기 구매시 인식될 동작을 미리 등록시켜 출시하고 사용자가 그 동작에 대응되는 멀티미디어 데이터만을 저장하게 할 수 있다.
또한 도 6과 같이 음성 인식을 통한 화상 데이터 방법은 전술한 동작 인식과 동일한 화면을 거쳐 하트 캐릭터(120)를 선택하여 화면에 표시될 위치 및 크기를 변경하고 음성 등록 메뉴(127-2)를 누른다.
이후 음성 등록 화면(138)이 디스플레이 되고, 사용자는 상기 캐릭터가 검출될 수 있도록 원하는 음성을 녹음한다.
자세히 설명하면, 상기 음성 등록 화면(138)에서 하트 캐릭터(120)에 해당하는 음성을 "사랑해"라는 음성으로 녹음하여 저장하면, 화상 통화시 오디오 입력부(31)를 통해 "사랑해"라는 음성이 입력되면 음성 인식 수단(32)에서는 이를 인식하여, 메모리부(40)에 미리 등록된 "사랑해"라는 음성 정보를 검색하고 그 대응되어 저장된 하트 캐릭터(120)를 검출하여 실시간 입력되는 화상 데이터에 자동으로 합성하게 된다.
또한 다른 실시 예로서, 인식될 문자를 미리 등록하고 그 대응되는 멀티미디어 데이터를 저장하고, 화상 통화시 키 입력부(11)를 통해 해당하는 문자가 입력되면 그 대응되는 멀티미디어 데이터를 검출하여 화상 데이터와 자동으로 합성할 수 있다.
예를 들면, 인식되기 원하는 "사랑"이라는 문자를 등록하고 그 대응되는 멀티미디어 데이터를 하트 캐릭터로 저장한다.
이후, 화상 통화시 키 입력부(11)를 통해 "사랑"이라는 문자를 실시간으로 입력하면 문자 검출 수단(12)에서는 이를 인식하여 메모리부(40)에 미리 등록되어 있는 "사랑"이라는 문자를 검색하고 그 대응하여 저장된 하트 캐릭터를 실시간 입 력되는 화상 데이터에 자동으로 합성하여 표시되도록 한다.
또한 전술한 움직임, 음성, 문자 인식 정보를 등록하고 그 대응되는 멀티미디어 데이터를 하나 이상 저장하여 복수의 멀티미디어 데이터가 화상 데이터에 합성되도록 할 수 있다.
예를 들면, "사랑해"이라는 음성이 인식될 때 하트 캐릭터를 합성함과 동시에 Perhaps love 라는 음악을 삽입하여 화상 데이터를 전송할 수 있다.
도 7은 본 발명의 실시 예예 따른 화상 통화 화면을 보여주는 도면이다.
도 7을 참조하면, 화상 통화시 발신자의 화상 데이터(141)와 수신자의 화상 데이터(142)가 동시에 표시되는 화면을 보여주고 있으며, 상기 화면이 수신자의 단말기에 표시되는 화면이라고 하면, 화상 통화시 발신자가 "사랑해" 라고 말을 하면 발신자 단말기에서는 상기 음성을 인식하여 등록되어 있는 "사랑해" 라는 음성을 검색하고 그 대응하는 하트 캐릭터를 검출하여 화상 데이터에 자동으로 합성하여 수신자 단말기로 전송함으로써 하트 캐릭터가 합성된 발신자의 화상 데이터(141)가 수신자 단말기의 화면에 출력되게 된다.
또한 도 7의 화면은 발신자 단말기의 화면에도 표시되어 합성되어 전송된 화상 데이터를 발신자가 확인할 수 있다.
또한 이동통신 단말기에 제한되지 않고 동영상을 녹화할 수 있는 캠코더(camcorder)등의 영상 촬영 수단에 적용하여 별도의 편집없이 자동적으로 독창적인 동영상을 제작할 수 있다.
이와 같이, 본 발명은 화상 통화시 또는 동영상 녹화시 동작, 음성, 문자 등 의 데이터 중 어느 하나 이상을 인식하고 그 대응되는 멀티미디어 데이터를 검출하여 영상 데이터와 합성되도록 함으로써 사용자에게 다양한 서비스를 제공할 수 있는 장점이 있다.
이제까지 본 발명에 대하여 그 실시 예를 중심으로 살펴보았으며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적 기술 범위 내에서 상기 본 발명의 상세한 설명과 다른 형태의 실시 예들을 구현할 수 있을 것이다. 여기서 본 발명의 본질적 기술범위는 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
본 발명에 따른 멀티미디어 합성 방법 및 이를 이용한 단말기에 의하면, 입력되는 동작, 음성, 문자 등의 데이터 중 어느 하나 이상을 인식하고 그 대응되는 멀티미디어 데이터를 검출하여 실시간 화상 데이터와 합성되도록 함으로써 사용자에게 다양한 서비스를 제공할 수 있는 효과가 있다.
또한 캠코더(camcorder)등의 영상 촬영 수단에 적용하여 별도의 편집없이 자동적으로 독창적인 동영상을 제작할 수 있는 효과가 있다.

Claims (18)

  1. 입력되는 사물의 움직임 정보, 단말기의 움직임 정보, 음성 정보, 문자 정보 중 적어도 어느 하나 이상의 정보를 인식하는 단계;
    상기 인식된 정보를 이용하여 데이터 베이스를 검색하고 인식된 정보에 대응되어 저장된 멀티미디어 데이터를 검출하는 단계;
    상기 검출된 멀티미디어 데이터를 실시간 입력되는 동영상 데이터에 자동으로 합성하는 단계를 포함하는 것을 특징으로 하는 멀티미디어 합성 방법.
  2. 제 1항에 있어서,
    상기 합성된 화상 데이터를 압축하여 실시간으로 전송하는 단계를 더 포함하는 것을 특징으로 하는 멀티미디어 합성 방법.
  3. 제 1항에 있어서,
    상기 멀티미디어 데이터는 그래픽, 이미지, 동영상, 문자, 오디오 정보 중 적어도 어느 하나 이상을 포함하는 것을 특징으로 하는 멀티미디어 합성 방법.
  4. 제 1항에 있어서,
    상기 데이터 베이스는 사물의 움직임 정보, 단말기의 움직임 정보, 음성 정보, 문자 정보 중 적어도 하나 이상의 인식될 정보를 미리 등록하고 그에 대응하는 멀티미디어 데이터를 저장하여 생성되는 것을 특징으로 하는 멀티미디어 합성 방법.
  5. 제 1항에 있어서,
    상기 멀티미디어 데이터의 크기와 위치를 변경할 수 있는 것을 특징으로 하는 멀티미디어 합성 방법.
  6. 삭제
  7. 삭제
  8. 제 1항에 있어서,
    상기 데이터 중 적어도 어느 하나 이상이 인식되도록 선택 가능한 것을 특징으로 하는 멀티미디어 합성방법.
  9. 사물의 움직임 데이터와 단말기의 움직임 데이터 중 어느 하나 이상의 데이터를 입력받아 이를 인식하는 동작 인식 모듈과;
    상기 인식된 움직임 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와;
    상기 동작 인식 모듈을 통해 인식된 움직임 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 움직임 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 단말기.
  10. 제 9항에 있어서,
    상기 동작 인식 모듈은 사물의 움직임 데이터를 입력받는 카메라와;
    단말기의 움직임 데이터를 입력받는 동작 검출 센서와;
    상기 카메라와 동작검출 센서의 움직임 데이터를 입력받아 움직임 동작을 인 식하는 동작 인식 수단을 포함하는 것을 특징으로 하는 단말기.
  11. 음성 데이터를 입력받고 이를 인식하는 음성 인식 모듈과;
    상기 인식된 음성 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와;
    상기 음성 인식 모듈을 통해 인식된 음성 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 음성 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 단말기.
  12. 제 11항에 있어서,
    상기 음성 인식 모듈은 음성 데이터를 입력받는 오디오 입력부와;
    상기 음성 데이터를 입력받아 음성을 인식하는 음성 인식 수단을 포함하는 것을 특징으로 하는 단말기.
  13. 문자 데이터를 입력받아 이를 인식하는 문자 인식 모듈과;
    상기 인식된 문자 데이터와 대응되어 저장된 멀티미디어 데이터를 실시간 입력되는 화상 데이터와 합성하는 동영상 합성부와;
    상기 문자 인식 모듈을 통해 인식된 문자 데이터가 데이터 베이스에 등록되어 있는지 검색하고, 상기 검색된 문자 데이터와 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 단말기.
  14. 제 13항에 있어서,
    상기 문자 인식 모듈은 문자를 입력하는 키 입력부와;
    상기 문자를 입력받아 문자를 인식하는 문자 검출 수단을 포함하는 것을 특징으로 하는 단말기.
  15. 사물의 움직임 데이터와 단말기의 움직임 데이터 중 어느 하나 이상을 입력받아 이를 인식하는 동작 인식 모듈과;
    음성 데이터를 입력받아 이를 인식하는 음성 인식 모듈과;
    문자 데이터를 입력받아 이를 인식하는 문자 인식 모듈과;
    상기 인식된 데이터와 대응하여 저장된 멀티미디어 데이터와 실시간 입력되는 화상 데이터를 합성하는 동영상 합성부와;
    상기 동작 인식 모듈을 통해 인식된 움직임 데이터와 음성 인식 모듈을 통해 인식된 음성 데이터과 문자 인식 모듈을 통해 인식된 문자 데이터 중 적어도 어느 하나 이상의 데이터가 데이터 베이스에 등록되어 있는지 검색하고 그에 대응되어 저장된 멀티미디어 데이터를 검출하여 동영상 합성부를 통해 합성되도록 제어하는 제어부를 포함하는 것을 특징으로 하는 단말기.
  16. 제 15항에 있어서,
    상기 인식될 데이터를 미리 등록하고 그 대응하는 멀티미디어 데이터를 함께 저장하는 메모리를 더 포함하는 것을 특징으로 하는 단말기.
  17. 제 15항에 있어서,
    상기 합성을 위해 멀티미디어 데이터를 디코딩하는 디코더와;
    상기 디코딩된 멀티미디어 데이터와 실시간 입력되는 데이터를 합성하여 생성된 화상 데이터를 압축하는 인코더부와;
    상기 압축된 화상 데이터를 전송하는 송수신부를 더 포함하는 것을 특징으로 하는 단말기.
  18. 제 15항에 있어서,
    상기 멀티미디어 데이터만을 디코딩하는 별도의 멀티미디어 디코더를 더 포함하는 것을 특징으로 하는 단말기.
KR1020060046751A 2006-05-24 2006-05-24 멀티미디어 합성 방법 및 이를 이용한 단말기 KR100775190B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060046751A KR100775190B1 (ko) 2006-05-24 2006-05-24 멀티미디어 합성 방법 및 이를 이용한 단말기

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060046751A KR100775190B1 (ko) 2006-05-24 2006-05-24 멀티미디어 합성 방법 및 이를 이용한 단말기

Publications (1)

Publication Number Publication Date
KR100775190B1 true KR100775190B1 (ko) 2007-11-12

Family

ID=39061622

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060046751A KR100775190B1 (ko) 2006-05-24 2006-05-24 멀티미디어 합성 방법 및 이를 이용한 단말기

Country Status (1)

Country Link
KR (1) KR100775190B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031800A (ko) * 2008-07-15 2017-03-21 임머숀 코퍼레이션 햅틱 메시지들을 송신하기 위한 시스템 및 방법

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234639A (ja) 1998-02-17 1999-08-27 Matsushita Electric Ind Co Ltd テレビ電話装置
KR20040110875A (ko) * 2003-06-20 2004-12-31 엘지전자 주식회사 영상 전화 통신의 사용자 감정 표현 방법
KR20050001149A (ko) * 2003-06-27 2005-01-06 주식회사 팬택 화상합성 기능을 갖는 이동통신단말기
KR20050005091A (ko) * 2003-07-01 2005-01-13 엘지전자 주식회사 영상 전화 단말기 및 이를 이용한 영상 전송 방법
JP2005079882A (ja) 2003-08-29 2005-03-24 Sega Corp 動画像双方向通信端末、テレビ電話システム及びコンピュータプログラム
JP2006005440A (ja) 2004-06-15 2006-01-05 Sony Corp 通話送受信方法および通話端末
KR20060022494A (ko) * 2004-09-07 2006-03-10 엘지전자 주식회사 이동단말기로 화상 통화시의 이펙트 화면 제공 장치 및방법
KR20060098151A (ko) * 2005-03-10 2006-09-18 김화진 이동통신 단말기로 실시간 이미지 전송방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11234639A (ja) 1998-02-17 1999-08-27 Matsushita Electric Ind Co Ltd テレビ電話装置
KR20040110875A (ko) * 2003-06-20 2004-12-31 엘지전자 주식회사 영상 전화 통신의 사용자 감정 표현 방법
KR20050001149A (ko) * 2003-06-27 2005-01-06 주식회사 팬택 화상합성 기능을 갖는 이동통신단말기
KR20050005091A (ko) * 2003-07-01 2005-01-13 엘지전자 주식회사 영상 전화 단말기 및 이를 이용한 영상 전송 방법
JP2005079882A (ja) 2003-08-29 2005-03-24 Sega Corp 動画像双方向通信端末、テレビ電話システム及びコンピュータプログラム
JP2006005440A (ja) 2004-06-15 2006-01-05 Sony Corp 通話送受信方法および通話端末
KR20060022494A (ko) * 2004-09-07 2006-03-10 엘지전자 주식회사 이동단말기로 화상 통화시의 이펙트 화면 제공 장치 및방법
KR20060098151A (ko) * 2005-03-10 2006-09-18 김화진 이동통신 단말기로 실시간 이미지 전송방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170031800A (ko) * 2008-07-15 2017-03-21 임머숀 코퍼레이션 햅틱 메시지들을 송신하기 위한 시스템 및 방법
US9612662B2 (en) 2008-07-15 2017-04-04 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US9785238B2 (en) 2008-07-15 2017-10-10 Immersion Corporation Systems and methods for transmitting haptic messages
KR20180051675A (ko) * 2008-07-15 2018-05-16 임머숀 코퍼레이션 햅틱 메시지들을 송신하기 위한 시스템 및 방법
US10019061B2 (en) 2008-07-15 2018-07-10 Immersion Corporation Systems and methods for haptic message transmission
US10203756B2 (en) 2008-07-15 2019-02-12 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
US10248203B2 (en) 2008-07-15 2019-04-02 Immersion Corporation Systems and methods for physics-based tactile messaging
US10416775B2 (en) 2008-07-15 2019-09-17 Immersion Corporation Systems and methods for shifting haptic feedback function between passive and active modes
KR102045128B1 (ko) * 2008-07-15 2019-11-14 임머숀 코퍼레이션 햅틱 메시지들을 송신하기 위한 시스템 및 방법
KR102045165B1 (ko) * 2008-07-15 2019-11-14 임머숀 코퍼레이션 햅틱 메시지들을 송신하기 위한 시스템 및 방법

Similar Documents

Publication Publication Date Title
US10325394B2 (en) Mobile communication terminal and data input method
KR100816286B1 (ko) 휴대 단말기와 외부 장치를 이용한 디스플레이 장치 및방법
CN104866264B (zh) 移动终端、显示设备及其控制方法
CN106488251B (zh) 实现直播中连麦的方法及装置、主播客户端和用户客户端
US20110039598A1 (en) Methods and devices for adding sound annotation to picture and for highlighting on photos and mobile terminal including the devices
KR100678206B1 (ko) 휴대단말기의 화상통화모드에서 감정표시 방법
CN106331830A (zh) 直播处理方法、装置、设备及系统
WO2011019467A1 (en) Methods and devices for adding sound annotation to picture and for highlighting on photos and mobile terminal including the devices
CN103945065A (zh) 消息提醒的方法及装置
JP2003143257A (ja) 携帯電話装置、携帯端末装置、携帯電話装置の制御プログラム、および携帯端末装置の制御プログラム
CN108270661A (zh) 一种信息回复的方法、装置和设备
KR100775190B1 (ko) 멀티미디어 합성 방법 및 이를 이용한 단말기
JP3641631B2 (ja) 携帯電話装置、携帯電話装置の制御方法、携帯電話装置の制御プログラム、および携帯電話装置の制御プログラムを記録したコンピュータ読取可能な記録媒体
CN105100946A (zh) 视频通讯方法及装置
JP4296976B2 (ja) 通信端末装置
JP4047834B2 (ja) 携帯情報端末
CN105376513A (zh) 信息传输的方法及装置
JP2007089025A (ja) 通話中にコンテンツの視聴可能な情報処理装置、情報処理方法、および、プログラム
KR20080032751A (ko) 휴대 단말기의 동영상 생성 방법 및 콘텐츠 제공 방법
KR100703333B1 (ko) 휴대단말기에서 멀티미디어메시지 송수신 방법
CN112804440B (zh) 一种处理图像的方法、装置及介质
KR100724965B1 (ko) 이동 통신 단말기 및 그 단말기의 이미지 출력 방법
KR101364844B1 (ko) 화상통화기능을 갖는 이동통신단말기 및 그 제어방법
KR100596001B1 (ko) 사용자 단말기에 소정의 콘텐츠를 제공하기 위한 방법 및그 시스템
KR101023301B1 (ko) 휴대단말기에서 ｍｐ3파일 편집 및 전송방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20100929

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee