KR20200112481A

KR20200112481A - 회의 제어를 위한 컴퓨터 프로그램, 전자 장치, 및 시스템

Info

Publication number: KR20200112481A
Application number: KR1020190033038A
Authority: KR
Inventors: 최병훈
Original assignee: 한양전자산업(주)
Priority date: 2019-03-22
Filing date: 2019-03-22
Publication date: 2020-10-05

Abstract

본 개시에 따르면, 회의 제어 방법을 수행하기 위한 명령어를 포함하고, 기록 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 회의 제어 방법은, 복수의 스탠드 유닛으로부터 회의 참석자의 음성 데이터 및 상기 복수의 스탠드 유닛의 식별 정보를 수신하는 단계; 상기 수신된 음성 데이터를 텍스트 데이터로 변환하는 단계; 상기 텍스트 데이터에 기초하고, 심층 신경망을 이용하여, 회의록을 생성하는 단계; 및 상기 텍스트 데이터 및 상기 회의록을 지정된 수신자 그룹의 계정 또는 장치로 전송하는 단계를 포함하는 컴퓨터 프로그램이 제공된다.

Description

회의 제어를 위한 컴퓨터 프로그램, 전자 장치, 및 시스템 {Computer program, electronic device, and system for controlling conference}

본 개시의 실시 예들은 회의 제어 방법을 수행하기 위한 명령어를 포함하고, 기록 매체에 저장된 컴퓨터 프로그램, 전자 장치, 및 회의 제어 시스템에 관한 것이다.

국내외 클라우드 기반의 글로벌 음성인식 엔진의 경우, 한국어 인식률 및 비정형 자연어 추출 성능에 제약이 존재한다. 특히 일반적인 음성인식 엔진은 일상 생활에서의 대화에 포커스를 맞추고 있을 뿐이고, 회의, 강의, 컨퍼런스 등의 환경에 적절하지 않아, 이러한 환경에 적용하는데 어려움이 있다. 또한, 기존의 음성인식 엔진은 소스코드를 사용할 수 없어 특정 제품 또는 서비스가 구현하고자 하는 기능적 정의와 알고리즘의 커스터마이징 및 추가 개발에 어려움이 있다. 또한, 기존의 음성인식 엔진은 음성 인식 디코딩의 인식률 확보를 위해, 음성 입력 시간을 짧게 제한하고 있어, 장시간의 회의, 강의 컨퍼런스에 적절하지 않다. 또한, 장시간의 음성인식 환경에서, 언어의 맥락적 이해와 상황인지 기술 한계로 인식률이 매우 낮은 상황이다.

본 개시의 실시 예들은 자동으로 회의 내용에 대응하는 텍스트 데이터 및 회의록을 생성하는 컴퓨터 프로그램, 전자 장치 및 시스템을 제공하기 위한 것이다.

또한, 본 개시의 실시 예들은 심층 신경망을 이용하여 회의록을 작성하고 공유하는 컴퓨터 프로그램, 전자 장치, 및 시스템을 제공하기 위한 것이다.

본 개시의 일 실시 예의 일 측면에 따르면, 회의 제어 방법을 수행하기 위한 명령어를 포함하고, 기록 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 회의 제어 방법은, 복수의 스탠드 유닛으로부터 회의 참석자의 음성 데이터 및 상기 복수의 스탠드 유닛의 식별 정보를 수신하는 단계; 상기 수신된 음성 데이터를 텍스트 데이터로 변환하는 단계; 상기 텍스트 데이터에 기초하고, 심층 신경망을 이용하여, 회의록을 생성하는 단계; 및 상기 텍스트 데이터 및 상기 회의록을 지정된 수신자 그룹의 계정 또는 장치로 전송하는 단계를 포함하는 컴퓨터 프로그램이 제공된다.

일 실시 예에 따르면, 상기 복수의 스탠드 유닛은, 적어도 하나의 마스터 스탠드 유닛 및 복수의 일반 스탠드 유닛을 포함하고, 상기 회의 제어 방법은, 의장 우선 발언 모드 설정에 기초하여, 상기 적어도 하나의 마스터 스탠드 유닛이 활성화되면, 상기 복수의 일반 스탠드 유닛을 비활성시키는 단계; 의장 제어 모드 설정에 기초하여, 상기 적어도 하나의 마스터 스탠드 유닛으로부터 입력된 제어 신호에 기초하여 상기 복수의 일반 스탠드 유닛을 활성화 또는 비활성화시키는 단계; 또는 투표 모드 설정에 기초하여, 상기 복수의 스탠드 유닛으로부터 투표 입력을 수신하는 단계 중 적어도 하나를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 복수의 스탠드 유닛은 적어도 하나의 마스터 스탠드 유닛 및 복수의 일반 스탠드 유닛을 포함하고, 상기 적어도 하나의 마스터 스탠드 유닛은 상기 복수의 일반 스탠드 유닛과 통신하고, 상기 복수의 일반 스탠드 유닛을 제어할 수 있다.

일 실시 예에 따르면, 상기 회의 제어 방법은, 상기 음성 데이터에 기초하여, 발언자의 식별 정보를 획득하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 회의 제어 방법은, 활성화된 스탠드 유닛의 발언자로 카메라의 FOV(Field of View)를 이동시키도록 카메라를 제어하는 단계를 더 포함할 수 있다.

일 실시 예에 따르면, 상기 회의 제어 방법은 발언 모드를 제어하는 단계를 더 포함하고, 상기 발언 모드는, 동시 발언 가능한 스탠드 유닛의 개수를 초과한 경우, 추가로 발언 요청을 입력한 스탠드 유닛을 발언 대기 상태로 설정하는 제1 발언 모드, 동시 발언 가능한 스탠드 유닛의 개수를 초과한 경우, 발언 개시 시점이 가장 빠른 스탠드 유닛을 비활성화하고, 추가로 발언 요청을 입력한 스탠드 유닛을 활성화하는 제2 발언 모드, 해당 스탠드 유닛을 활성화시키는 제어 신호를 입력하는 동안 해당 스탠드 유닛을 활성화시키는 제3 발언 모드, 또는 검출된 음성 데이터의 음압에 기초하여, 스탠드 유닛을 활성화시키는 제4 발언 모드 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.

일 실시 예에 따르면, 상기 회의 제어 방법은, 외부 장치로부터 음성 데이터 및 상기 외부 장치의 식별 정보를 수신하는 단계; 상기 외부 장치로부터 수신된 음성 데이터를 텍스트 데이터로 변환하는 단계; 및 상기 외부 장치 또는 상기 외부 장치의 사용자의 계정으로 상기 회의록을 전송하는 단계를 더 포함하고, 상기 회의록을 작성하는 단계는, 상기 외부 장치로부터 수신된 텍스트 데이터 및 상기 외부 장치의 식별 정보에 더 기초하여, 상기 심층 신경망을 이용하여 상기 회의록을 작성할 수 있다.

본 개시의 일 실시 예의 다른 측면에 따르면, 복수의 스탠드 유닛과 통신하는 통신부; 및 상기 복수의 스탠드 유닛의 동작을 제어하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 통신부를 통해, 상기 복수의 스탠드 유닛으로부터 회의 참석자의 음성 데이터 및 상기 복수의 스탠드 유닛의 식별 정보를 수신하고, 상기 수신된 음성 데이터를 텍스트 데이터로 변환하고, 상기 텍스트 데이터에 기초하고, 심층 신경망을 이용하여, 회의록을 생성하고, 상기 텍스트 데이터 및 상기 회의록을 지정된 수신자 그룹의 계정 또는 장치로 상기 통신부를 통해 전송하는, 전자 장치가 제공된다.

일 실시 예에 따르면, 상기 전자 장치는, 상기 복수의 스탠드 유닛 중 하나에 대응될 수 있다.

본 개시의 일 실시 예의 또 다른 측면에 따르면, 복수의 스탠드 유닛; 상기 복수의 스탠드 유닛과 통신하고, 상기 복수의 스탠드 유닛을 제어하는 전자 장치를 포함하고, 상기 전자 장치는, 상기 복수의 스탠드 유닛과 통신하는 통신부; 및 상기 복수의 스탠드 유닛의 동작을 제어하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 통신부를 통해, 상기 복수의 스탠드 유닛으로부터 회의 참석자의 음성 데이터 및 상기 복수의 스탠드 유닛의 식별 정보를 수신하고, 상기 수신된 음성 데이터를 텍스트 데이터로 변환하고, 상기 텍스트 데이터에 기초하고, 심층 신경망을 이용하여, 회의록을 생성하고, 상기 텍스트 데이터 및 상기 회의록을 지정된 수신자 그룹의 계정 또는 장치로 상기 통신부를 통해 전송하는, 회의 제어 시스템이 제공된다.

본 개시의 실시 예들에 따르면, 자동으로 회의 내용에 대응하는 텍스트 데이터 및 회의록을 생성하는 컴퓨터 프로그램, 전자 장치 및 시스템을 제공할 수 있는 효과가 있다.

또한, 본 개시의 실시 예들에 따르면, 심층 신경망을 이용하여 회의록을 작성하고 공유하는 컴퓨터 프로그램, 전자 장치, 및 시스템을 제공할 수 있는 효과가 있다.

도 1은 일 실시 예에 따른 회의 제어 시스템을 나타낸 도면이다.
도 2는 본 개시의 일 실시 예에 따른 회의 제어 시스템을 나타낸 도면이다.
도 3은 일 실시 예에 따른 회의 제어 시스템의 구조를 나타낸 도면이다.
도 4는 일 실시 예에 따른 회의 제어 시스템의 구조를 나타낸 도면이다.
도 5는 일 실시 예에 따른 전자 장치의 구성을 나타낸 도면이다.
도 6은 일 실시 예에 따른 스탠드 유닛(120)의 구조를 나타낸 도면이다.
도 7은 일 실시 예에 따른 메인 컨트롤러의 구조를 나타낸 도면이다.
도 8은 일 실시 예에 따른 회의 제어 방법을 나타낸 흐름도이다.
도 9는 일 실시 예에 따른 텍스트 데이터 및 회의록 생성 과정을 나타낸 도면이다.
도 10은 일 실시 예에 따른 스탠드 유닛의 동작 모드를 제어하는 과정을 나타낸 흐름도이다.
도 11은 일 실시 예에 따른 투표 모드에서의 GUI 뷰를 나타낸 도면이다.
도 12는 일 실시 예에 따른 제1 발언 모드에 따른 동작을 나타낸 도면이다.
도 13은 일 실시 예에 따른 제2 발언 모드의 동작을 나타낸 도면이다.
도 14는 일 실시 예에 따른 회의 제어 시스템의 구조를 나타낸 도면이다.
도 15는 일 실시 예에 따른 회의 제어 시스템의 GUI 뷰를 나타낸 도면이다.

본 명세서는 본 개시의 청구항의 권리범위를 명확히 하고, 본 개시의 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자가 본 개시의 실시 예들을 실시할 수 있도록, 본 개시의 실시 예들의 원리를 설명하고, 실시 예들을 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 개시의 실시 예들이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부'(part, portion)라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시 예들에 따라 복수의 '부'가 하나의 요소(unit, element)로 구현되거나, 하나의 '부'가 복수의 요소들을 포함하는 것도 가능하다. 이하 첨부된 도면들을 참고하여 본 개시의 실시 예들, 및 실시 예들의 작용 원리에 대해 설명한다.

이하에서는 도면을 참조하여 실시 예들을 상세히 설명한다.

도 1은 일 실시 예에 따른 회의 제어 시스템을 나타낸 도면이다.

회의 환경에서는 다수의 사람들이 참여하고 발언하고, 의견을 모으기 때문에, 회의 종료 후에 회의록의 작성 및 공유가 요구된다. 그런데 회의록을 작성하는 일은 많은 양의 음성 데이터 또는 텍스트 데이터를 처리하는 업무가 요구되기 때문에, 시간과 인력을 요구하는 업무이다. 본 개시의 실시 예들은 자동으로 회의 내용을 텍스트 데이터로 변환하고, 텍스트 데이터 및 회의에서 사용된 스탠드 유닛(120)으로부터 수집된 발언자에 대한 정보에 기초하여, 심층 신경망 프로세서를 이용하여 회의록을 자동으로 작성하는 컴퓨터 프로그램, 전자 장치, 및 시스템을 제공한다.

본 개시의 일 실시 예에 따른 회의 제어 시스템은 전자 장치(110) 및 복수의 스탠드 유닛(120)을 포함한다.

전자 장치(110)는 회의에 이용되는 장치 전반을 제어하고, 데이터를 처리하는 장치이다. 전자 장치(110)는 예를 들면, 의장 또는 회의 진행자가 이용하는 전자 장치로서, 데이크톱 PC, 노트북, 태블릿 PC, 스마트폰, 키오스크 등의 형태로 구현될 수 있다. 다른 예에 따르면, 전자 장치(110)는 회의에 이용되는 장치들을 제어하는 메인 컨트롤러에 대응될 수 있다.

회의에 이용되는 장비는 예를 들면, 복수의 스탠드 유닛(120), 스피커, 디스플레이 장치, 카메라, 오디오 출력 장치 등을 포함할 수 있다. 전자 장치(110)는 회의에 이용되는 장비들과 직접 또는 간접적으로 통신하면서, 장비들의 모드, 동작 등을 제어할 수 있다. 일 실시 예에 따르면, 전자 장치(110)는 메인 컨트롤러로 제어 신호를 출력하고, 메인 컨트롤러는 전자 장치(110)의 제어 신호에 기초하여 회의에 이용되는 장비들을 제어할 수 있다.

복수의 스탠드 유닛(120)은 회의 참석자들 각각에 인접하여 배치되는 장치이다. 복수의 스탠드 유닛(120)은 마이크를 구비하여 회의 참석자의 발언에 대응하는 음성 데이터를 입력 받고, 음성 데이터를 전자 장치(110)로 직접 또는 간접으로 전송한다. 이를 위해, 복수의 스탠드 유닛(120)은 마이크 및 통신부를 포함할 수 있다. 복수의 스탠드 유닛(120)과 전자 장치(110)는 유선 또는 무선으로 통신할 수 있다.

일 실시 예에 따르면, 복수의 스탠드 유닛(120)은 서로 다른 권한을 부여 받을 수 있다. 예를 들면, 복수의 스탠드 유닛(120)은 하나의 마스터 스탠드 유닛 및 복수의 일반 스탠드 유닛을 포함할 수 있다. 각각의 스탠드 유닛(120)에 부여된 권한에 따라 허용되는 동작의 범위가 달라질 수 있다. 예를 들면, 마스터 스탠드 유닛은 일반 스탠드 유닛의 발언을 제어하거나 허용하는 제어 신호를 입력 받을 수 있다. 또한, 마스터 스탠드 유닛은 투표 모드 등 특정 기능을 실행시키거나, 회의 진행을 제어하기 위한 제어 신호를 입력 받을 수 있다.

전자 장치(110)는 복수의 스탠드 유닛(120)의 동작 모드를 제어할 수 있다. 예를 들면, 전자 장치(110)는 의장 또는 회의 진행자의 제어 입력에 기초하여, 복수의 스탠드 유닛(120) 중 일부 또는 전부의 발언을 제한하거나 허용할 수 있다. 또한, 전자 장치(110)는 제어 입력에 기초하여, 복수의 스탠드 유닛(120)을 투표 모드로 동작하도록 제어할 수 있다.

복수의 스탠드 유닛(120)은 전자 장치(110)로 획득된 음성 데이터 및 스탠드 유닛의 식별 정보를 전송할 수 있다. 추가적으로 복수의 스탠드 유닛(120)은 전자 장치(110)로 발언 시간 정보, 동작 모드 정보 등을 함께 전송할 수 있다.

전자 장치(110)는 복수의 스탠드 유닛(120)으로부터 획득된 음성 데이터 및 스탠드 유닛의 식별 정보에 기초하여, 회의 내용에 대응되는 텍스트 데이터(130) 및 회의록(140)을 생성한다. 텍스트 데이터(130)는 회의 내용을 시간 순서에 따라, 발언자와 발언 내용을 텍스트로 표현한 데이터이다. 회의록(140)은 텍스트 데이터(130)를 가공하여, 회의에 대한 정보 및 회의의 주요 내용을 기록한 데이터이다. 회의록(140)은 텍스트 정보, 음성 정보, 사진, 및 동영상 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 회의에 대한 정보는 회의 일시, 회의 장소, 회의 참석자, 회의 주제, 및 주최자 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 전자 장치(110)는 심층 신경망 프로세서를 이용하여 텍스트 데이터로부터 회의록을 생성할 수 있다.

전자 장치(110)는 텍스트 데이터(130) 및 회의록(140)을 소정의 수신자 그룹(150)에게 공유할 수 있다. 소정의 수신자 그룹은 예를 들면, 회의 참석자, 회의 참석자 중 회의록 공유 권한을 가진 사람, 회의 참석자 이외의 지정된 수신자 중 적어도 하나 또는 이들의 조합일 수 있다. 텍스트 데이터(130) 및 회의록(140)은 수신자 그룹의 계정, 통신 단말, PC 등으로 공유될 수 있다. 전자 장치(110)는 지정된 계정 또는 장치로 텍스트 데이터(130) 및 회의록(140)을 전송할 수 있다. 다른 실시 예에 따르면, 전자 장치(110)는 소정의 서버 또는 장치로 텍스트 데이터(130) 및 회의록(140)을 전송하고, 소정의 서버 또는 장치는 텍스트 데이터(130) 및 회의록(140)을 지정된 수신자 그룹(150)으로 전송할 수 있다.

본 개시의 일 실시 예에 따르면, 본 개시의 실시 예들에 따른 회의 제어 시스템을 제어하는 컴퓨터 프로그램이 제공된다. 컴퓨터 프로그램은 전자 장치의 메모리에 저장되고, 프로세서에 의해 실행되었을 때, 회의 제어 방법의 각 단계들을 수행하는 적어도 하나의 명령어를 포함한다. 컴퓨터 프로그램은 기록매체에 저장될 수 있다. 컴퓨터 프로그램은 서버 또는 기록 매체로부터 전자 장치로 전달되고, 전자 장치에 설치되어 실행될 수 있다.

도 2는 본 개시의 일 실시 예에 따른 회의 제어 시스템을 나타낸 도면이다.

일 실시 예에 따른 회의 제어 시스템은 전자 장치(110a), 메인 컨트롤러(210), 오디오 출력장치(220), 카메라(230), 및 복수의 스탠드 유닛(120)을 포함할 수 있다.

전자 장치(110a)는 회의 제어 시스템 전반을 제어하는 장치이다. 전자 장치(110a)는 적어도 하나의 입력 장치, 디스플레이, 출력 장치 등을 포함하여, 사용자 인터페이스를 제공한다. 전자 장치(110a)는 메인 컨트롤러(210)로 제어 신호를 출력하고, 메인 컨트롤러(210)로부터 음성 데이터 및 스탠드 유닛의 식별 정보를 수신한다. 전자 장치(110a)와 메인 컨트롤러(210)는 유선 또는 무선으로 통신할 수 있다. 예를 들면, 전자 장치(110a)와 메인 컨트롤러(210)는 이더넷을 통해 연결될 수 있다.

메인 컨트롤러(210)는 복수의 장비들과 연결되어 복수의 장비들을 제어한다. 메인 컨트롤러(210)는 복수의 스탠드 유닛(120)과 통신하고, 복수의 스탠드 유닛(120)을 제어하기 위한 제어 신호를 송신하고, 복수의 스탠드 유닛(120)으로부터 음성 데이터 및 식별 정보를 수신할 수 있다. 또한, 메인 컨트롤러(210)는 오디오 출력장치(220)로 음성 데이터를 출력한다.

메인 컨트롤러(210)는 B-CDMA 2.4GHz ISM 대역 디지털 방식을 이용할 수 있다. 메인 컨트롤러(210)는 복수의 스탠드 유닛(120) 중 마스터 스탠드 유닛으로부터 수신된 제어 신호 또는 전자 장치(110)로부터 수신된 제어 신호에 기초하여 복수의 스탠드 유닛(120)의 적어도 일부 또는 전부의 발언 시간을 제어할 수 있다. 또한, 메인 컨트롤러(210)는 동시 발언 가능한 스탠드 유닛(120)의 수량을 제어하여, 소정 개수 이하의 스탠드 유닛(120)만 발언하도록 복수의 스탠드 유닛(120)을 제어할 수 있다. 또한, 발언 대기 요청 중인 스탠드 유닛(120)의 리스트를 관리하고, 발언 대기 요청 중인 스탠드 유닛(120)에 발언 기회를 부여할 수 있다.

오디오 출력장치(220)는 메인 컨트롤러(210)로부터 음성 데이터를 수신하여 회의장 내의 스피커 등으로 출력한다. 오디오 출력장치(220)는 예를 들면, 이퀄라이저(equalizer), 앰프(amplifier), 스피커 등의 형태로 구현될 수 있다. 일 실시 예에 따르면, 오디오 출력장치(220)는 전자 장치(110a)에 연결되어 전자 장치(110a)에 의해 제어될 수 있다.

카메라(230)는 회의장 내부 모습을 촬영한다. 일 실시 예에 따르면, 메인 컨트롤러(210)는 카메라(230)가 발언 중인 참석자를 촬영하도록 자동으로 움직이고 FOV(field of view)를 조절하도록 카메라(230)를 제어할 수 있다. 다른 실시 예에 따르면, 전자 장치(110a)는 카메라(230)가 발언 중인 참석자를 촬영하도록 자동으로 움직이고 FOV를 조절하도록 카메라(230)를 제어할 수 있다. 메인 컨트롤러(210) 또는 전자 장치(110a)는 복수의 스탠드 유닛(120)으로부터 수신된 음성 데이터 및 식별 정보에 기초하여 발언 중인 참석자를 결정할 수 있다. 메인 컨트롤러(210) 또는 전자 장치(110a)는 음성 데이터 및 식별 정보가 입력된 스탠드 유닛(120) 주변의 발언자를 촬영하도록 카메라(230)를 제어할 수 있다.

일 실시 예에 따르면, 회의 제어 시스템은 복수의 카메라(230)를 포함하고, 복수의 참석자가 발언 중인 경우, 복수의 참석자를 각각 촬영할 수 있다. 전자 장치(110a) 또는 메인 컨트롤러(210)는 복수의 참석자가 발언 중이고 복수의 참석자가 촬영된 경우, 복수의 참석자 각각을 한 화면에 디스플레이하도록 회의 제어 시스템 내의 디스플레이 장치를 제어할 수 있다.

메인 컨트롤러(210)와 복수의 스탠드 유닛(120)은 유선 또는 무선으로 통신할 수 있다. 일 실시 예에 따르면, 메인 컨트롤러(210)와 복수의 스탠드 유닛(120)은 2.4GHz 대역의 통신 채널을 통해 무선으로 통신할 수 있다. 또한, 메인 컨트롤러(210)는 스탠드 유닛(120)과 통신 채널을 수립할 때, 지정된 주파수 대역대의 채널이 이미 이용 중인 경우, 주변 주파수 대역의 다른 주파수 대역을 선택하여 통신하는 주파수 호핑(hopping) 기능을 이용할 수 있다.

도 3은 일 실시 예에 따른 회의 제어 시스템의 구조를 나타낸 도면이다.

일 실시 예에 따르면, 회의 제어 시스템은 복수의 메인 컨트롤러(210a, 210b, 210c) 및 복수의 메인 컨트롤러(210a, 210b, 210c) 각각에 대응되는 복수의 스탠드 유닛 그룹(310a, 310b, 310c)을 포함할 수 있다. 전자 장치(110a)는 복수의 메인 컨트롤러(210a, 210b, 210c) 각각에 연결되어, 복수의 메인 컨트롤러(210a, 210b, 210c) 각각을 제어할 수 있다.

대규모 회의의 경우, 복수의 회의장을 이용하여 회의가 진행될 수 있다. 이러한 경우, 각 회의장에 메인 컨트롤러(210a, 210b, 210c)를 각각 설치하고, 각 메인 컨트롤러(210a, 210b, 210c)에 대응되는 복수의 스탠드 유닛 그룹(310a, 310b, 310c)을 각각 설치하여 대규모 회의를 진행할 수 있다. 다른 예로서, 다수의 참석자가 회의에 참석하여 다수의 스탠드 유닛을 이용하는 경우, 스탠드 유닛을 그룹화하고 복수의 메인 컨트롤러(210a, 210b, 210c)를 이용하여 각 스탠드 유닛 그룹을 제어할 수 있다.

도 4는 일 실시 예에 따른 회의 제어 시스템의 구조를 나타낸 도면이다.

일 실시 예에 따르면, 회의 제어 시스템은 전자 장치(110a), 마스터 스탠드 유닛(410), 및 복수의 일반 스탠드 유닛(420)을 포함할 수 있다. 본 실시 예에 따르면, 마스터 스탠드 유닛(410)은 복수의 일반 스탠드 유닛(420)과 통신하고, 복수의 일반 스탠드 유닛(420)을 제어할 수 있다. 마스터 스탠드 유닛(410)은 복수의 일반 스탠드 유닛(420)으로부터 음성 데이터 및 식별 정보를 수신하여 전자 장치(110a)로 전송할 수 있다. 또한, 마스터 스탠드 유닛(410)은 마스터 스탠드 유닛(410)을 통해 입력된 음성 데이터 및 해당 마스터 스탠드 유닛(410)의 식별 정보를 전자 장치(110a)로 전송한다.

일 실시 예에 따르면, 복수의 스탠드 유닛(120) 중 하나 중 하나가 마스터 스탠드 유닛(410)으로 권한이 할당될 수 있다. 권한 할당은 전자 장치(110a) 또는 스탠드 유닛(120) 중 적어도 하나 또는 이들의 조합을 통해 입력된 제어 신호에 의해 수행될 수 있다. 예를 들면, 전자 장치(110a)를 통해 마스터 스탠드 유닛(410) 할당 요청을 입력 받고, 마스터 스탠드 유닛(410)으로 이용한 스탠드 유닛에서 제어 신호를 입력하여 마스터 스탠드 유닛(410)을 할당할 수 있다.

소규모 회의의 경우, 메인 컨트롤러를 따로 구비하지 않고, 마스터 스탠드 유닛(410)을 통해 복수의 일반 스탠드 유닛(420)을 제어하여, 시스템을 구성을 보다 간략화 할 수 있는 효과가 있다.

도 5는 일 실시 예에 따른 전자 장치의 구성을 나타낸 도면이다.

일 실시 예에 따르면, 전자 장치(110)는 통신부(510) 및 프로세서(520)를 포함할 수 있다.

통신부(510)는 메인 컨트롤러(210a) 또는 복수의 스탠드 유닛(120)과 통신한다. 통신부(510)는 유선 또는 무선 방식으로 메인 컨트롤러(210a) 또는 복수의 스탠드 유닛(120)과 통신할 수 있다. 통신부(510)는 메인 컨트롤러(210a) 또는 복수의 스탠드 유닛(120)으로부터 음성 데이터 및 식별 정보를 수신한다. 또한, 통신부(510)는 메인 컨트롤러(210a) 또는 복수의 스탠드 유닛(120)으로 복수의 스탠드 유닛(120)의 동작 및 모드를 제어하기 위한 제어 신호를 전송할 수 있다.

일 실시 예에 따르면, 통신부(510)는 텍스트 데이터로부터 회의록을 작성하기 위해, 회의록 작성을 위한 심층 신경망 프로세서를 구비하는 외부 장치(예를 들면, 서버 등)와 통신할 수 있다. 이를 위해 통신부(510)는 외부 장치로 텍스트 데이터, 식별 정보, 추가 정보 등을 전송하고, 회의록을 수신할 수 있다.

프로세서(520)는 전자 장치(110) 전반의 동작을 제어한다. 프로세서(520)는 회의 제어 방법을 수행하기 위한 컴퓨터 프로그램의 명령어들을 실행하여 동작할 수 있다. 프로세서(520)는 하나 이상의 프로세서를 포함할 수 있다. 일 실시 예에 따르면, 프로세서(520)는 심층 신경망 프로세서를 포함하거나, 컴퓨터 프로그램을 실행함에 의해 심층 신경망 프로세서로 동작할 수 있다.

프로세서(520)는 통신부(510)를 통해 입력된 음성 데이터 및 식별 정보에 기초하여 텍스트 데이터 및 회의록을 생성한다. 프로세서(520)는 내부 또는 외부에 구비된 심층 신경망 프로세서를 이용하여, 텍스트 데이터로부터 회의록을 생성한다. 또한, 프로세서(520)는 생성된 텍스트 데이터 및 회의록을 통신부(510)를 통해 소정의 수신자 그룹의 계정 또는 장치로 전송할 수 있다.

도 6은 일 실시 예에 따른 스탠드 유닛(120)의 구조를 나타낸 도면이다.

일 실시 예에 따르면, 스탠드 유닛(120)은 발언 버튼(610), 스피커(620), 마이크(630), 램프(632), 디스플레이(640), 적어도 하나의 버튼(650)을 포함할 수 있다. 또한, 스탠드 유닛(120)은 통신부를 포함하여 전자 장치(110) 또는 메인 컨트롤러와 통신할 수 있고, 프로세서를 포함하여 소정의 동작을 수행할 수 있다.

사용자는 발언 버튼(610)을 눌러 스탠드 유닛(120)을 활성화시키고, 발언 요청을 전송할 수 있다. 스탠드 유닛(120)의 동작 모드에 따라, 또한, 회의 제어 시스템의 발언 모드에 따라 스탠드 유닛(120)의 사용자는 발언 버튼(610)을 누름과 동시에 발언 가능한 상태가 되거나, 발언 대기 상태가 될 수 있다.

스탠드 유닛(120)은 스피커(620)를 통해 타 스탠드 유닛(120)을 통해 입력된 음성 데이터, 회의 진행과 관련된 음성 데이터 또는 효과음 데이터를 출력할 수 있다. 스탠드 유닛(120)은 해당 스탠드 유닛(120)을 통해 입력된 음성 데이터는 음성 데이터로부터 제외시킬 수 있다.

디스플레이(640)는 회의 진행과 관련된 다양한 데이터를 디스플레이할 수 있다. 예를 들면, 디스플레이(640)는 동작 모드에 대한 정보, 통신 상태에 대한 정보, 배터리 잔여 전력에 대한 정보, 권한에 대한 정보, 발언 시간에 대한 정보, 발언 가능 여부에 대한 정보 등을 표시할 수 있다.

스탠드 유닛(120)은 적어도 하나의 버튼(650)을 통해 회의와 관련된 제어 입력을 입력 받을 수 있다. 예를 들면, 적어도 하나의 버튼(650)은 투표와 관련된 버튼(YES, ABS, NO), 음량 조절 버튼(-, +), 의장 우선 발언 모드 버튼(PRIO) 등을 포함할 수 있다.

스탠드 유닛(120)은 마이크(630)를 통해 사용자로부터 음성 데이터를 입력 받을 수 있다. 스탠드 유닛(120)은 램프(632)를 구비하고, 램프(632)의 점등에 의해 발언 상태를 나타낼 수 있다. 램프(632)는 상태에 따라 점등하거나 그 색이 변할 수 있다. 램프(632)는 LED 램프를 구비할 수 있다.

도 7은 일 실시 예에 따른 메인 컨트롤러의 구조를 나타낸 도면이다.

일 실시 예에 따른 메인 컨트롤러(700)는 온오프 스위치(710), 디스플레이(720), 적어도 하나의 버튼(730), 헤드폰 출력 단자(740), 및 안테나(750)를 포함할 수 있다.

메인 컨트롤러(700)는 적어도 하나의 버튼(730)을 통해 동작 모드를 설정하는 등의 제어 입력을 수신할 수 있다. 메인 컨트롤러(700)는 헤드폰 출력 단자(740)를 통해 회의 제어 시스템의 오디오 출력장치를 통해 출력된 사운드를 출력할 수 있다. 또한, 메인 컨트롤러(700)는 디스플레이(720)를 통해 메인 컨트롤러(700)의 상태 정보, 동작 모드 등의 정보를 출력할 수 있다. 또한 메인 컨트롤러(700)는 안테나(750)를 통해 복수의 스탠드 유닛(120)과 통신할 수 있다. 또한, 일 실시 예에 따르면, 메인 컨트롤러(700)는 안테나(750)를 통해 전자 장치와 통신할 수 있다.

메인 컨트롤러(210)는 오디오 입력 감도 조정, 오디오 출력 감도 조절, 외부 안테나 소켓(BNC), 발언자 추척, 및 스탠드 유닛 제어 기능을 구비할 수 있다.

도 8은 일 실시 예에 따른 회의 제어 방법을 나타낸 흐름도이다.

본 개시의 회의 제어 방법의 각 단계들은 회의 장비와 통신하고 적어도 하나의 프로세서를 구비한 다양한 형태의 전자 장치에 의해 수행될 수 있다. 본 명세서는 본 개시의 실시 예들에 따른 전자 장치(110)가 회의 제어 방법을 수행하는 실시 예를 중심으로 설명한다. 따라서 전자 장치(110)에 대해 설명된 실시 예들은 회의 제어 방법에 적용 가능하고, 반대로 회의 제어 방법에 대해 설명된 실시 예들은 전자 장치(110)에 대한 실시 예들에 적용 가능하다. 개시된 실시 예들에 따른 회의 제어 방법은 본 명세서에 개시된 전자 장치(110)에 의해 수행되는 것으로 그 실시 예가 한정되지 않고, 다양한 형태의 전자 장치에 의해 수행될 수 있다.

전자 장치(110)는 복수의 스탠드 유닛(120)으로부터 음성 데이터 및 식별 정보를 수신한다(S802).

다음으로 전자 장치(110)는 음성 데이터를 텍스트 데이터로 변환한다(S804). 전자 장치(110)는 음성 데이터를 텍스트 데이터로 변환하기 위해 음성-텍스트 변환 알고리즘을 이용할 수 있다. 전자 장치(110)는 스탠드 유닛(120)으로부터 수신된 식별 정보와 음성 데이터를 매칭시켜, 텍스트 데이터에서 발언자에 대한 정보를 나타낸다. 일 실시 예에 따르면, 전자 장치(110)는 심층 신경망 프로세서를 이용하여 음성-텍스트 변환 처리를 수행할 수 있다.

다음으로 전자 장치(110)는 심층 신경망 프로세서를 이용하여 텍스트 데이터로부터 회의록을 생성한다(S806). 일 실시 예에 따르면, 심층 신경망 프로세서는 텍스트 데이터, 및 스탠드 유닛의 식별 정보를 함께 입력 받아 회의록을 생성할 수 있다. 회의록을 생성하는 처리는, 회의의 종료 후 수행될 수 있다.

다음으로 전자 장치(110)는 생성된 텍스트 데이터 및 회의록을 지정된 수신자 그룹으로 전송한다(S808)

도 9는 일 실시 예에 따른 텍스트 데이터 및 회의록 생성 과정을 나타낸 도면이다.

일 실시 예에 따르면, 전자 장치는 음성 데이터 및 식별 정보로부터 텍스트 데이터(130) 및 회의록(140)을 생성한다. 우선 전자 장치는 음성 데이터를 텍스트로 변환하는 음성-텍스트 변환 처리(910)를 수행한다. 음성-텍스트 변환 처리(910)는 음성 데이터 및 식별 정보를 이용하여 발언자가 표시된 음성 데이터를 생성한다. 텍스트 데이터(130)는 회의 진행과 동시에 생성될 수 있다. 일 실시 예에 따르면, 텍스트 데이터(130)는 회의 진행과 동시에 생성되어, 전자 장치 또는 회의 제어 시스템의 디스플레이를 통해 출력될 수 있다.

전자 장치는 각 스탠드 유닛에 대응되는 발언자에 대한 정보를 저장하고, 저장된 발언자에 대한 정보에 기초하여 스탠드 유닛의 식별 정보에 매칭되는 발언자 정보를 획득할 수 있다. 전자 장치는 식별 정보에 매칭되는 발언자 정보와 텍스트 정보를 매칭시킬 수 있다.

일 실시 예에 따르면, 음성-텍스트 변환 처리(910)는 음성 데이터의 음성 특성에 기초하여, 발언자 정보를 획득한다. 본 실시 예에 따르면 전자 장치는 스탠드 유닛의 식별 정보를 이용하지 않고, 음성 데이터만으로 발언자 정보를 획득할 수 있다.

다음으로 텍스트 데이터(130)가 심층 신경망 프로세서(920)로 입력된다. 심층 신경망 프로세서(920)는 전자 장치의 프로세서 내에 구비되거나 외부 장치(예를 들면, 서버)에 구비될 수 있다. 심층 신경망 프로세서(920)는 복수의 노드 및 노드들 간의 가중치를 이용하여 정의될 수 있다. 심층 신경망 프로세서(920)는 예를 들면, RNN(Recurrent Neural Network), LSTM(Long short-term memory), GRU(Gated Recurrent Unit) 등의 구조 또는 이들의 조합을 가질 수 있다.

심층 신경망 프로세서(920)는 텍스트 데이터를 입력 받고 회의록을 출력할 수 있다. 일 실시 예에 따르면, 심층 신경망 프로세서(920)는 텍스트 데이터 및 스탠드 유닛의 동작 모드에 대한 정보를 입력 받고, 회의록을 출력할 수 있다. 일 실시 예에 따르면, 심층 신경망 프로세서(920)는 텍스트 데이터, 스탠드 유닛의 동작 모드, 및 발언 모드에 대한 정보를 입력 받고, 회의록을 출력할 수 있다.

심층 신경망 프로세서(920)는 학습용 텍스트 데이터 및 회의록을 이용하여 미리 학습될 수 있다. 심층 신경망 프로세서(920)는 사용자가 회의록을 수정하는 경우, 수정된 회의록을 이용하여 다시 학습할 수 있다.

심층 신경망 프로세서(920)는 예를 들면, TextRank 알고리즘을 이용하여 회의록 작성 처리를 수행할 수 있다. 심층 신경망 프로세서(920)는 그래프에 기반한 랭킹 모델을 적용하여, 텍스트 문서 내의 발언의 상대적인 중요도에 따라 가중치를 부여한다. 이 때 빈번하게 언급된 텍스트에 기반한 텍스트 랭크를 고려하여 발언의 가중치를 결정할 수 있다. 예를 들면, 심층 신경망 프로세서(920)는 텍스트 문서를 문장 단위로 분리하고, 자연어처리를 수행한 후, 텍스트 랭크를 결정하여, 텍스트 랭크에 기반한 회의록을 생성할 수 있다. 일 실시 예에 따르면, 심층 신경망 프로세서(920)는 텍스트 데이터의 발언 내용 및 발언자 정보를 함께 고려하여 텍스트 랭크를 결정하고, 회의록을 작성할 수 있다. 예를 들면, 심층 신경망 프로세서(920)는 발언자의 직급, 마스터인지 여부, 발언 횟수, 발언 길이 등을 추가로 고려하여 텍스트 랭크를 결정하고 회의록을 작성할 수 있다.

도 10은 일 실시 예에 따른 스탠드 유닛의 동작 모드를 제어하는 과정을 나타낸 흐름도이다.

일 실시 예에 따르면 스탠드 유닛은 복수의 모드로 동작할 수 있다. 전자 장치는 스탠드 유닛의 동작 모드를 결정하고 제어할 수 있다(S1002). 일 실시 예에 따르면, 스탠드 유닛의 동작 모드는, 의장 우선 발언 모드(S1004, S1006), 의장 제어 모드(S1008, 1010), 및 투표 모드(S1012, S1014) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.

의장 우선 발언 모드에서는 의장이 우선 발언권을 갖는다. 즉, 일반 스탠드 유닛이 발언 상태인 경우에도, 마스터 스탠드 유닛에서 발언 요청이 들어오면(S1004), 마스터 스탠드 유닛과 일반 스탠드 유닛이 함께 발언 상태로 동작하거나, 일반 스탠드 유닛은 비활성화되고, 마스터 스탠드 유닛이 발언 상태로 전환된다(S1006).

의장 제어 모드에서는 마스터 스탠드 유닛이 일반 스탠드 유닛의 발언권을 제한할 권한을 갖는다. 마스터 스탠드 유닛을 통해 입력된 제어 신호에 기초하여(S1008), 일반 스탠드 유닛이 활성화 또는 비활성화된다(S1010). 마스터 스탠드 유닛은 소정의 일반 스탠드 유닛에 발언권을 부여하여 해당 스탠드 유닛을 발언 상태로 전환하거나, 소정의 일반 스탠드 유닛의 발언 상태를 종료시킬 수 있다. 일 실시 예에 따르면, 의장 제어 모드에서 소정의 일반 스탠드 유닛에 발언권을 부여하거나 발언을 중단시키는 요청은 전자 장치를 통해 입력될 수 있다.

투표 모드는 전자 장치, 메인 컨트롤러, 또는 마스터 스탠드 유닛이 복수의 스탠드 유닛으로부터 투표 입력을 수신하여 투표를 진행하는 모드이다. 전자 장치, 메인 컨트롤러, 또는 마스터 스탠드 유닛은 복수의 스탠드 유닛(마스터 스탠드 유닛을 포함할 수 있다)으로부터 투표 입력을 수신하여(S1012), 투표 결과를 산출한다(S1014). 스탠드 유닛은 스탠드 유닛에 구비된 소정의 버튼을 통해 투표 입력을 수신할 수 있다.

도 11은 일 실시 예에 따른 투표 모드에서의 GUI 뷰를 나타낸 도면이다.

일 실시 예에 따르면, 전자 장치는 투표 모드에서 투표와 관련된 정보를 표시하는 GUI 뷰를 제공할 수 있다. 도 11에 도시된 바와 같이, 투표 모드의 GUI 뷰는 투표의 진행 상태, 회의 총 인원, 투표 참석 인원, 미투표 인원, 투표 진행 시간 및 잔여 시간, 투표 결과 등을 나타낼 수 있다. 일 실시 예에 따르면, 투표 모드의 GUI 뷰는 회의 제어 시스템의 디스플레이, 메인 컨트롤러, 마스터 스탠드 유닛, 또는 일반 스탠드 유닛 중 적어도 하나 또는 이들의 결함에 디스플레이될 수 있다.

도 12는 일 실시 예에 따른 제1 발언 모드에 따른 동작을 나타낸 도면이다.

일 실시 예에 따르면, 회의 제어 시스템은 복수의 발언 모드로 동작할 수 있다. 일 실시 예에 따르면, 발언 모드는, 동시 발언 가능한 스탠드 유닛의 개수를 초과한 경우, 추가로 발언 요청을 입력한 스탠드 유닛을 발언 대기 상태로 설정하는 제1 발언 모드, 동시 발언 가능한 스탠드 유닛의 개수를 초과한 경우, 발언 개시 시점이 가장 빠른 스탠드 유닛을 비활성화하고, 추가로 발언 요청을 입력한 스탠드 유닛을 활성화하는 제2 발언 모드, 해당 스탠드 유닛을 활성화시키는 제어 신호를 입력하는 동안 해당 스탠드 유닛을 활성화시키는 제3 발언 모드, 또는 검출된 음성 데이터의 음압에 기초하여, 스탠드 유닛을 활성화시키는 제4 발언 모드 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 전자 장치, 메인 컨트롤러, 또는 마스터 스탠드 유닛은 설정된 발언 모드로 동작하도록 복수의 스탠드 유닛을 제어할 수 있다. 발언 모드를 설정하는 제어 입력은 전자 장치, 메인 컨트롤러, 또는 마스터 스탠드 유닛을 통해 입력될 수 있다.

제1 발언 모드는 동시 발언 가능한 스탠드 유닛의 개수를 초과한 경우, 추가로 발언 요청을 입력한 스탠드 유닛을 발언 대기 상태로 설정한다. 예를 들면, 3개의 스탠드 유닛(1210)이 활성화되어 발언 상태에 있고, 동시 발언 가능한 스탠드 유닛의 개수가 3개로 설정된 경우, 추가로 스탠드 유닛 1212를 통해 발언 요청이 입력된 경우(1220), 추가로 발언을 요청한 스탠드 유닛 1212는 발언 대기 상태가 되고(1222), 활성화된 스탠드 유닛(1210) 중 하나가 비활성화 되면, 대기 상태에 있는 스탠드 유닛 1212가 활성화되면서 발언 상태가 된다(1224).

도 13은 일 실시 예에 따른 제2 발언 모드의 동작을 나타낸 도면이다.

제2 발언 모드는 동시 발언 가능한 스탠드 유닛의 개수를 초과한 경우, 발언 개시 시점이 가장 빠른 스탠드 유닛을 비활성화하고, 추가로 발언 요청을 입력한 스탠드 유닛을 활성화하는 모드이다. 예를 들면, 동시 발언 가능한 스탠드 유닛의 개수가 3개이고, 3개의 스탠드 유닛(1310)이 활성화되어 발언 상태에 있는 동안 추가로 스탠드 유닛 1312가 발언 요청(1320)을 입력한 경우, 활성화된 3개의 스탠드 유닛(1310) 중 발언 개시 시점이 가장 빠른 스탠드 유닛이 비활성화된다(1322). 이로 인해 발언 개시 시점이 가장 빠른 스탠드 유닛은 발언 상태가 중단되고, 스탠드 유닛 1312가 활성화되어 발언 상태로 전환된다(S1324).

제3 발언 모드는 해당 스탠드 유닛을 활성화시키는 제어 신호를 입력하는 동안 해당 스탠드 유닛을 활성화시키는 모드이다. 제3 발언 모드에서는 스탠드 유닛의 발언 버튼이 눌린 동안에만 해당 스탠드 유닛이 발언 상태로 전환된다. 즉, 스탠드 유닛의 발언 버튼의 눌림 상태가 해제되면 발언 상태가 종료되어 비활성화된다.

제4 발언 모드는 검출된 음성 데이터의 음압에 기초하여, 스탠드 유닛을 활성화시키는 모드이다. 사람의 목소리에 해당하는 음압 범위의 음성 데이터가 소정 시간 이상 검출된 경우, 해당 스탠드 유닛이 발언 상태로 활성화된다.

도 14는 일 실시 예에 따른 회의 제어 시스템의 구조를 나타낸 도면이다.

일 실시 예에 따르면, 전자 장치(110b)는 스탠드 유닛(120) 뿐만 아니라 외부 장치(1410)를 통해 입력된 음성 데이터를 함께 고려하여 텍스트 데이터 및 회의록을 생성할 수 있다. 본 실시 예에 따르면, 원격 회의 시스템이 가능해지면, 회의장에 오지 않은 사람도 회의에 참석이 가능해진다. 외부 장치(1410)는 네트워크를 통해 전자 장치(110b)로 음성 데이터를 전송할 수 있다. 또한, 외부 장치(1410)는 전자 장치(110b)로부터 실시간 텍스트 데이터, 회의에 대한 정보, 음성 데이터 등을 수신할 수 있다.

전자 장치(110b)는 외부 장치(1410)에 의해 회의에 참석한 사용자에 대한 정보를 수신하거나 미리 저장할 수 있다. 또한, 전자 장치(110b)는 텍스트 데이터 생성시, 및 회의록 생성 시 외부 장치(1410)에 의해 회의에 참석하였다는 정보를 텍스트 데이터 또는 회의록에 기록할 수 있다.

도 15는 일 실시 예에 따른 회의 제어 시스템의 GUI 뷰를 나타낸 도면이다.

일 실시 예에 따르면, 회의 제어 시스템을 위한 GUI가 전자 장치 또는 메인 컨트롤러를 통해 제공될 수 있다. 회의 제어 시스템의 GUI 뷰는 회의 설정 영역(1510), 참석자 정보(1520), 발언 모드 설정 영역(1530), 또는 로그 정보(1540) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.

회의 설정 영역(1510)은 회의의 참석자, 재택 여부 등을 설정하는 버튼을 제공할 수 있다. 또한, 회의 설정 영역(1510)은 투표 모드를 실행하기 위한 버튼을 제공할 수 있다.

참석자 정보(1520)는 회의 참석자에 대한 정보, 스탠드 유닛의 발언 상태에 대한 정보, 의장에 대한 정보를 제공할 수 있다. 스탠드 유닛이 발언 상태에 있는 경우, 전자 장치는 GUI 뷰 상에서 해당 스탠드 유닛에 대응하는 아이콘(1526)의 색상, 음영 등을 변경하거나 해당 스탠드 유닛에 대응하는 아이콘(1526) 주변에 추가 아이콘을 표시할 수 있다. 또한 마스터 스탠드 유닛에 대응하는 아이콘(1522)은 나머지 아이콘(1524a, 1524b, 및 1526)과 다르게 표시할 수 있다. 예를 들면 마스터 스탠드 유닛에 대응하는 아이콘 1522는 음영, 색상 등이 다르게 표시되거나, 추가 아이콘과 함께 표시될 수 있다.

발언 모드 설정 영역(1530)은 발언 모드를 설정할 수 있는 버튼을 제공한다.

로그 정보(1540)는 시간에 따른 스탠드 유닛의 발언 상태를 나타내는 정보를 표시한다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시 예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시 예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시 예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

110, 110a, 110b 전자 장치
120 스탠드 유닛
130 텍스트 데이터
140 회의록
210 메인 컨트롤러
220 오디오 출력 장치

Claims

회의 제어 방법을 수행하기 위한 명령어를 포함하고, 기록 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 회의 제어 방법은,
복수의 스탠드 유닛으로부터 회의 참석자의 음성 데이터 및 상기 복수의 스탠드 유닛의 식별 정보를 수신하는 단계;
상기 수신된 음성 데이터를 텍스트 데이터로 변환하는 단계;
상기 텍스트 데이터에 기초하고, 심층 신경망을 이용하여, 회의록을 생성하는 단계; 및
상기 텍스트 데이터 및 상기 회의록을 지정된 수신자 그룹의 계정 또는 장치로 전송하는 단계를 포함하는 컴퓨터 프로그램.
제1항에 있어서,
상기 복수의 스탠드 유닛은, 적어도 하나의 마스터 스탠드 유닛 및 복수의 일반 스탠드 유닛을 포함하고,
상기 회의 제어 방법은,
의장 우선 발언 모드 설정에 기초하여, 상기 적어도 하나의 마스터 스탠드 유닛이 활성화되면, 상기 복수의 일반 스탠드 유닛을 비활성시키는 단계;
의장 제어 모드 설정에 기초하여, 상기 적어도 하나의 마스터 스탠드 유닛으로부터 입력된 제어 신호에 기초하여 상기 복수의 일반 스탠드 유닛을 활성화 또는 비활성화시키는 단계; 또는
투표 모드 설정에 기초하여, 상기 복수의 스탠드 유닛으로부터 투표 입력을 수신하는 단계 중 적어도 하나를 더 포함하는, 컴퓨터 프로그램.
제1항에 있어서,
상기 복수의 스탠드 유닛은 적어도 하나의 마스터 스탠드 유닛 및 복수의 일반 스탠드 유닛을 포함하고,
상기 적어도 하나의 마스터 스탠드 유닛은 상기 복수의 일반 스탠드 유닛과 통신하고, 상기 복수의 일반 스탠드 유닛을 제어하는, 컴퓨터 프로그램.
제1항에 있어서,
상기 회의 제어 방법은, 상기 음성 데이터에 기초하여, 발언자의 식별 정보를 획득하는 단계를 더 포함하는, 컴퓨터 프로그램.
제1항에 있어서,
상기 회의 제어 방법은, 활성화된 스탠드 유닛의 발언자로 카메라의 FOV(Field of View)를 이동시키도록 카메라를 제어하는 단계를 더 포함하는, 컴퓨터 프로그램.
제1항에 있어서,
상기 회의 제어 방법은 발언 모드를 제어하는 단계를 더 포함하고,
상기 발언 모드는,
동시 발언 가능한 스탠드 유닛의 개수를 초과한 경우, 추가로 발언 요청을 입력한 스탠드 유닛을 발언 대기 상태로 설정하는 제1 발언 모드,
동시 발언 가능한 스탠드 유닛의 개수를 초과한 경우, 발언 개시 시점이 가장 빠른 스탠드 유닛을 비활성화하고, 추가로 발언 요청을 입력한 스탠드 유닛을 활성화하는 제2 발언 모드,
해당 스탠드 유닛을 활성화시키는 제어 신호를 입력하는 동안 해당 스탠드 유닛을 활성화시키는 제3 발언 모드, 또는
검출된 음성 데이터의 음압에 기초하여, 스탠드 유닛을 활성화시키는 제4 발언 모드 중 적어도 하나 또는 이들의 조합을 포함하는, 컴퓨터 프로그램.
제1항에 있어서,
상기 회의 제어 방법은,
외부 장치로부터 음성 데이터 및 상기 외부 장치의 식별 정보를 수신하는 단계;
상기 외부 장치로부터 수신된 음성 데이터를 텍스트 데이터로 변환하는 단계; 및
상기 외부 장치 또는 상기 외부 장치의 사용자의 계정으로 상기 회의록을 전송하는 단계를 더 포함하고,
상기 회의록을 작성하는 단계는, 상기 외부 장치로부터 수신된 텍스트 데이터 및 상기 외부 장치의 식별 정보에 더 기초하여, 상기 심층 신경망을 이용하여 상기 회의록을 작성하는, 컴퓨터 프로그램.
복수의 스탠드 유닛과 통신하는 통신부; 및
상기 복수의 스탠드 유닛의 동작을 제어하는 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는,
상기 통신부를 통해, 상기 복수의 스탠드 유닛으로부터 회의 참석자의 음성 데이터 및 상기 복수의 스탠드 유닛의 식별 정보를 수신하고,
상기 수신된 음성 데이터를 텍스트 데이터로 변환하고,
상기 텍스트 데이터에 기초하고, 심층 신경망을 이용하여, 회의록을 생성하고,
상기 텍스트 데이터 및 상기 회의록을 지정된 수신자 그룹의 계정 또는 장치로 상기 통신부를 통해 전송하는, 전자 장치.
제8항에 있어서,
상기 전자 장치는, 상기 복수의 스탠드 유닛 중 하나에 대응하는, 전자 장치.
복수의 스탠드 유닛;
상기 복수의 스탠드 유닛과 통신하고, 상기 복수의 스탠드 유닛을 제어하는 전자 장치를 포함하고,
상기 전자 장치는,
상기 복수의 스탠드 유닛과 통신하는 통신부; 및
상기 복수의 스탠드 유닛의 동작을 제어하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
상기 통신부를 통해, 상기 복수의 스탠드 유닛으로부터 회의 참석자의 음성 데이터 및 상기 복수의 스탠드 유닛의 식별 정보를 수신하고,
상기 수신된 음성 데이터를 텍스트 데이터로 변환하고,
상기 텍스트 데이터에 기초하고, 심층 신경망을 이용하여, 회의록을 생성하고,
상기 텍스트 데이터 및 상기 회의록을 지정된 수신자 그룹의 계정 또는 장치로 상기 통신부를 통해 전송하는, 회의 제어 시스템.