KR102444165B1 - 적응적으로 회의를 제공하기 위한 장치 및 방법 - Google Patents
적응적으로 회의를 제공하기 위한 장치 및 방법 Download PDFInfo
- Publication number
- KR102444165B1 KR102444165B1 KR1020170009603A KR20170009603A KR102444165B1 KR 102444165 B1 KR102444165 B1 KR 102444165B1 KR 1020170009603 A KR1020170009603 A KR 1020170009603A KR 20170009603 A KR20170009603 A KR 20170009603A KR 102444165 B1 KR102444165 B1 KR 102444165B1
- Authority
- KR
- South Korea
- Prior art keywords
- user
- electronic device
- information
- resource
- time
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 230000009471 action Effects 0.000 claims description 4
- 230000004044 response Effects 0.000 claims description 4
- 238000004891 communication Methods 0.000 abstract description 54
- 238000005516 engineering process Methods 0.000 abstract description 18
- 230000036541 health Effects 0.000 abstract description 4
- 230000008451 emotion Effects 0.000 description 34
- 230000006870 function Effects 0.000 description 24
- 230000008859 change Effects 0.000 description 19
- 238000007726 management method Methods 0.000 description 17
- 239000013598 vector Substances 0.000 description 15
- 230000008569 process Effects 0.000 description 12
- 238000012545 processing Methods 0.000 description 12
- 230000002996 emotional effect Effects 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 8
- 230000001413 cellular effect Effects 0.000 description 8
- 230000014509 gene expression Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 238000003058 natural language processing Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 210000001747 pupil Anatomy 0.000 description 4
- 238000013468 resource allocation Methods 0.000 description 4
- 238000012549 training Methods 0.000 description 4
- 238000002604 ultrasonography Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 230000005281 excited state Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000011002 quantification Methods 0.000 description 3
- 238000004458 analytical method Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000002591 computed tomography Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 206010016256 fatigue Diseases 0.000 description 2
- 210000001061 forehead Anatomy 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 230000003867 tiredness Effects 0.000 description 2
- 208000016255 tiredness Diseases 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 2
- 206010048909 Boredom Diseases 0.000 description 1
- WQZGKKKJIJFFOK-GASJEMHNSA-N Glucose Natural products OC[C@H]1OC(O)[C@H](O)[C@@H](O)[C@@H]1O WQZGKKKJIJFFOK-GASJEMHNSA-N 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 230000001133 acceleration Effects 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000036772 blood pressure Effects 0.000 description 1
- 230000036760 body temperature Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- -1 electricity Substances 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000004424 eye movement Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000004313 glare Effects 0.000 description 1
- 239000008103 glucose Substances 0.000 description 1
- 230000004886 head movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000006698 induction Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000001646 magnetic resonance method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000003252 repetitive effect Effects 0.000 description 1
- 230000008054 signal transmission Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 239000004753 textile Substances 0.000 description 1
- 238000012384 transportation and delivery Methods 0.000 description 1
- 238000005406 washing Methods 0.000 description 1
- 229910052724 xenon Inorganic materials 0.000 description 1
- FHNFHKCVQCLJFQ-UHFFFAOYSA-N xenon atom Chemical compound [Xe] FHNFHKCVQCLJFQ-UHFFFAOYSA-N 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1827—Network arrangements for conference optimisation or adaptation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
- G06Q10/063—Operations research, analysis or management
- G06Q10/0631—Resource planning, allocation, distributing or scheduling for enterprises or organisations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G06Q50/30—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L17/00—Speaker identification or verification techniques
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/70—Services for machine-to-machine communication [M2M] or machine type communication [MTC]
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Human Resources & Organizations (AREA)
- Physics & Mathematics (AREA)
- Strategic Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Economics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Multimedia (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computational Mathematics (AREA)
- Mathematical Physics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Development Economics (AREA)
- Game Theory and Decision Science (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- Primary Health Care (AREA)
- Software Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Algebra (AREA)
- Human Computer Interaction (AREA)
Abstract
본 개시는 4G(4th generation) 시스템 이후 보다 높은 데이터 전송률을 지원하기 위한 5G 통신 시스템을 IoT(Internet of things) 기술과 융합하는 통신 기법 및 그 시스템에 관한 것이다. 본 개시는 5G(5th generation) 통신 기술 및 IoT 관련 기술을 기반으로 지능형 서비스(예를 들어, 스마트 홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 헬스 케어, 디지털 교육, 소매업, 보안 및 안전 관련 서비스 등)에 적용될 수 있다. 본 개시의 다양한 실시 예들에 따르면, 적응적으로(adaptively) 회의(meeting)를 제공하는 장치는, 제1 사용자(user)에 관한 제1 정보 및 제2 사용자에 관한 제2 정보에 기반하여, 상기 제1 사용자의 제1 발언 속도 및 상기 제2 사용자의 제2 발언 속도를 결정하고, 상기 제1 정보 및 상기 제2 정보는 마이크를 통해 획득된 해당 사용자의 소리 정보를 포함함, 상기 제1 발언 속도 및 상기 제2 발언 속도에 기반하여, 상기 제1 사용자를 위한 제1 자원 및 상기 제2 사용자를 위한 제2 자원을 할당하고, 상기 제1 자원은 상기 제1 사용자의 제1 발언 시간이고, 상기 제2 자원은 상기 제2 사용자의 제2 발언 시간임, 상기 제1 발언 시간 중 적어도 일부를 통해 결정된 상기 제1 사용자의 제3 발언 속도가 상기 제1 발언 속도와 다르면, 상기 제3 발언 속도 및 상기 제2 발언 속도에 기반하여 상기 제1 자원 및 상기 제2 자원을 조정할 수 있다.
Description
본 개시(disclosure)는 일반적으로 회의를 적응적으로(adaptively) 제공하기 위한 것으로, 보다 구체적으로 사용자 별 개인화된(personalized) 정보를 통하여 회의(meeting)를 적응적(adaptively)으로 제공하기 위한 장치 및 방법에 관한 것이다.
4G(4th generation) 통신 시스템 상용화 이후 증가 추세에 있는 무선 데이터 트래픽 수요를 충족시키기 위해, 개선된 5G(5th generation) 통신 시스템 또는 pre-5G 통신 시스템을 개발하기 위한 노력이 이루어지고 있다. 이러한 이유로, 5G 통신 시스템 또는 pre-5G 통신 시스템은 4G 네트워크 이후(Beyond 4G Network) 통신 시스템 또는 LTE(Long Term Evolution) 시스템 이후(Post LTE) 시스템이라 불리어지고 있다. 높은 데이터 전송률을 달성하기 위해, 5G 통신 시스템은 초고주파(mmWave) 대역(예를 들어, 60기가(60GHz) 대역과 같은)에서의 구현이 고려되고 있다. 초고주파 대역에서의 전파의 경로손실 완화 및 전파의 전달 거리를 증가시키기 위해, 5G 통신 시스템에서는 빔포밍(beamforming), 거대 배열 다중 입출력(massive MIMO), 전차원 다중입출력(Full Dimensional MIMO, FD-MIMO), 어레이 안테나(array antenna), 아날로그 빔형성(analog beam-forming), 및 대규모 안테나(large scale antenna) 기술들이 논의되고 있다. 또한 시스템의 네트워크 개선을 위해, 5G 통신 시스템에서는 진화된 소형 셀, 개선된 소형 셀(advanced small cell), 클라우드 무선 액세스 네트워크(cloud radio access network, cloud RAN), 초고밀도 네트워크(ultra-dense network), 기기 간 통신(Device to Device communication, D2D), 무선 백홀(wireless backhaul), 이동 네트워크 (moving network), 협력 통신(cooperative communication), CoMP(Coordinated Multi-Points), 및 수신 간섭제거 (interference cancellation) 등의 기술 개발이 이루어지고 있다. 이 밖에도, 5G 시스템에서는 진보된 코딩 변조(Advanced Coding Modulation, ACM) 방식인 FQAM(Hybrid Frequency Shift Keying and Quadrature Amplitude Modulation) 및 SWSC(Sliding Window Superposition Coding)과, 진보된 접속 기술인 FBMC(Filter Bank Multi Carrier), NOMA(Non Orthogonal Multiple Access), 및 SCMA(Sparse Code Multiple Access) 등이 개발되고 있다.
한편, 인터넷은 인간이 정보를 생성하고 소비하는 인간 중심의 연결 망에서, 사물 등 분산된 구성 요소들 간에 정보를 주고 받아 처리하는 IoT(Internet of Things, 사물인터넷) 망으로 진화하고 있다. 클라우드 서버 등과의 연결을 통한 빅데이터(Big data) 처리 기술 등이 IoT 기술에 결합된 IoE(Internet of Everything) 기술도 대두되고 있다. IoT를 구현하기 위해서, 센싱 기술, 유무선 통신 및 네트워크 인프라, 서비스 인터페이스 기술, 및 보안 기술과 같은 기술 요소 들이 요구되어, 최근에는 사물간의 연결을 위한 센서 네트워크(sensor network), 사물 통신(Machine to Machine, M2M), MTC(Machine Type Communication)등의 기술이 연구되고 있다. IoT 환경에서는 연결된 사물들에서 생성된 데이터를 수집, 분석하여 인간의 삶에 새로운 가치를 창출하는 지능형 IT(Internet Technology) 서비스가 제공될 수 있다. IoT는 기존의 IT(information technology) 기술과 다양한 산업 간의 융합 및 복합을 통하여 스마트홈, 스마트 빌딩, 스마트 시티, 스마트 카 혹은 커넥티드 카, 스마트 그리드, 헬스 케어, 스마트 가전, 첨단의료서비스 등의 분야에 응용될 수 있다.
이에, 5G 통신 시스템을 IoT 망에 적용하기 위한 다양한 시도들이 이루어지고 있다. 예를 들어, 센서 네트워크, 사물 통신, MTC 등의 기술이 5G 통신 기술이 빔포밍, MIMO, 및 어레이 안테나 등의 기법에 의해 구현되고 있는 것이다. 앞서 설명한 빅데이터 처리 기술로써 클라우드 무선 액세스 네트워크가 적용되는 것도 5G 기술과 IoT 기술 융합의 일 예라고 할 수 있을 것이다.
한편, 스마트 오피스(smart office) 환경의 발달로, 효율적으로 회의를 진행하기 위한 전자 장치가 널리 보급되고 있다. 회의 참가자들은, 스마트 워크(smart work)의 일환으로, 이러한 전자 장치를 이용하여 회의 환경을 운용한다. 통상적으로, 전자 장치를 이용하는 회의 환경은 미리 설정된 입력에 따라 제공될 뿐, 회의 진행 도중 적응적으로 변경되기 어렵다. 이러한 적응적 변경의 어려움으로 인하여, 주제의 누락, 참가자별 발언 시간의 불균형(unbalance)과 같은 문제가 발생(cause)할 수 있다. 참가자들이 최적화된 환경에서 회의가 진행되도록, 적응적으로 자원(resource)을 할당하기 위한 방안(solution)이 요구된다.
상술한 바와 같은 논의를 바탕으로, 본 개시(disclosure)는, 적응적으로(adaptively) 회의를 제공하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는, 사용자의 감정 상태를 판단하여, 적응적으로 회의를 제공하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는, 사용자의 특성을 판단하여, 적응적으로 회의를 제공하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는, 사용자의 의도를 판단하여, 적응적으로 회의를 제공하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는, 사용자가 위치한 환경을 판단하여, 적응적으로 회의를 제공하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는, 참가자 정보를 통하여, 참가자들 각각의 회의 시간을 적응적으로 할당하기 위한 장치 및 방법을 제공한다.
또한, 본 개시는, 참가자 정보를 통하여, 진행하기 위한 회의와 관련된 부가 정보를 사용자들에게 제공한다.
본 개시의 다양한 실시 예들에 따르면, 적응적으로(adaptively) 회의(meeting)를 제공하는 장치의 동작 방법은, 제1 사용자(user)에 관한 제1 정보 및 제2 사용자에 관한 제2 정보에 기반하여, 상기 제1 사용자의 제1 발언 속도 및 상기 제2 사용자의 제2 발언 속도를 결정하는 동작, 상기 제1 정보 및 상기 제2 정보는 각각 해당 사용자의 소리 정보를 포함함, 상기 제1 발언 속도 및 상기 제2 발언 속도에 기반하여, 상기 제1 사용자를 위한 제1 자원 및 상기 제2 사용자를 위한 제2 자원을 할당하는 동작, 상기 제1 자원은 상기 제1 사용자의 제1 발언 시간이고, 상기 제2 자원은 상기 제2 사용자의 제2 발언 시간임, 및 상기 제1 발언 시간 중 적어도 일부를 통해 결정된 상기 제1 사용자의 제3 발언 속도가 상기 제1 발언 속도와 다르면, 상기 제3 발언 속도 및 상기 제2 발언 속도에 기반하여 상기 제1 자원 및 상기 제2 자원을 조정하는 동작을 포함할 수 있다.
본 개시의 다양한 실시 예들에 따르면, 적응적으로(adaptively) 회의(meeting)를 제공하는 장치는, 마이크, 및 상기 마이크와 전기적으로 연결된 적어도 하나의 프로세서를 포함할 수 있다. 상기 적어도 하나의 프로세서는, 제1 사용자(user)에 관한 제1 정보 및 제2 사용자에 관한 제2 정보에 기반하여, 상기 제1 사용자의 제1 발언 속도 및 상기 제2 사용자의 제2 발언 속도를 결정하고, 상기 제1 정보 및 상기 제2 정보는 상기 마이크를 통해 획득된 해당 사용자의 소리 정보를 포함함, 상기 제1 발언 속도 및 상기 제2 발언 속도에 기반하여, 상기 제1 사용자를 위한 제1 자원 및 상기 제2 사용자를 위한 제2 자원을 할당하고, 상기 제1 자원은 상기 제1 사용자의 제1 발언 시간이고, 상기 제2 자원은 상기 제2 사용자의 제2 발언 시간임, 상기 제1 발언 시간 중 적어도 일부를 통해 결정된 상기 제1 사용자의 제3 발언 속도가 상기 제1 발언 속도와 다르면, 상기 제3 발언 속도 및 상기 제2 발언 속도에 기반하여 상기 제1 자원 및 상기 제2 자원을 조정할 수 있다.
본 개시의 다양한 실시 예들에 따른 장치 및 방법은, 사용자 별 정보를 이용함으로써, 사용자에게 회의를 진행하는데 적합한(sutiable) 환경을 제공할 수 있다.
본 개시의 다양한 실시 예들에 따른 장치 및 방법은, 적응적으로 회의를 제공함으로써, 사용자들에게 효율적인 회의를 제공할 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 본 개시의 다양한 실시 예들에 따른 전자 장치(electronic device)를 포함하는 네트워크 환경(network environment)을 도시한다.
도 2는 본 개시의 다양한 실시 예들에 따른 전자 장치의 블록도를 도시한다.
도 3은 본 개시의 다양한 실시 예들에 따른 프로그램 모듈의 블록도를 도시한다.
도 4는 본 개시의 다양한 실시 예들에 따른 회의 환경(meeting environment)을 도시한다.
도 5는 본 개시의 다양한 실시 예들에 따른 전자 장치의 흐름도를 도시한다.
도 6은 본 개시의 다양한 실시 예들에 따른 판단의 예를 도시한다.
도 7은 본 개시의 다양한 실시 예들에 따른 패턴(pattern)을 결정하기 위한 요소(factor)들의 예를 도시한다.
도 8은 본 개시의 댜앙한 실시 예들에 따른 발언 속도에 따른 적응적 자원 할당의 예를 도시한다.
도 9는 본 개시의 다양한 실시 예들에 따른 발언 중첩시 발언권 부여의 흐름도를 도시한다.
도 10은 본 개시의 다양한 실시 예들에 따른 주제에 따른 적응적 자원 할당의 예를 도시한다.
도 11은 본 개시의 다양한 실시 예들에 따른 스마트 빌딩의 예를 도시한다.
도 12는 본 개시의 다양한 실시 예들에 따른 사용자의 장치에 제공되는 사용자 인터페이스(user interface, UI)의 예를 도시한다.
도 2는 본 개시의 다양한 실시 예들에 따른 전자 장치의 블록도를 도시한다.
도 3은 본 개시의 다양한 실시 예들에 따른 프로그램 모듈의 블록도를 도시한다.
도 4는 본 개시의 다양한 실시 예들에 따른 회의 환경(meeting environment)을 도시한다.
도 5는 본 개시의 다양한 실시 예들에 따른 전자 장치의 흐름도를 도시한다.
도 6은 본 개시의 다양한 실시 예들에 따른 판단의 예를 도시한다.
도 7은 본 개시의 다양한 실시 예들에 따른 패턴(pattern)을 결정하기 위한 요소(factor)들의 예를 도시한다.
도 8은 본 개시의 댜앙한 실시 예들에 따른 발언 속도에 따른 적응적 자원 할당의 예를 도시한다.
도 9는 본 개시의 다양한 실시 예들에 따른 발언 중첩시 발언권 부여의 흐름도를 도시한다.
도 10은 본 개시의 다양한 실시 예들에 따른 주제에 따른 적응적 자원 할당의 예를 도시한다.
도 11은 본 개시의 다양한 실시 예들에 따른 스마트 빌딩의 예를 도시한다.
도 12는 본 개시의 다양한 실시 예들에 따른 사용자의 장치에 제공되는 사용자 인터페이스(user interface, UI)의 예를 도시한다.
이하, 본 문서의 다양한 실시예들이 첨부된 도면을 참조하여 기재된다. 실시예 및 이에 사용된 용어들은 본 문서에 기재된 기술을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 해당 실시예의 다양한 변경, 균등물, 및/또는 대체물을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
본 문서에서, "A 또는 B" 또는 "A 및/또는 B 중 적어도 하나" 등의 표현은 함께 나열된 항목들의 모든 가능한 조합을 포함할 수 있다. "제 1," "제 2," "첫째," 또는 "둘째,"등의 표현들은 해당 구성요소들을, 순서 또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다. 어떤(예: 제 1) 구성요소가 다른(예: 제 2) 구성요소에 "(기능적으로 또는 통신적으로) 연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 상기 어떤 구성요소가 상기 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제 3 구성요소)를 통하여 연결될 수 있다.
본 문서에서, "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, 하드웨어적 또는 소프트웨어적으로 "~에 적합한," "~하는 능력을 가지는," "~하도록 변경된," "~하도록 만들어진," "~를 할 수 있는," 또는 "~하도록 설계된"과 상호 호환적으로(interchangeably) 사용될 수 있다. 어떤 상황에서는, "~하도록 구성된 장치"라는 표현은, 그 장치가 다른 장치 또는 부품들과 함께 "~할 수 있는" 것을 의미할 수 있다. 예를 들면, 문구 "A, B, 및 C를 수행하도록 구성된(또는 설정된) 프로세서"는 해당 동작을 수행하기 위한 전용 프로세서(예: 임베디드 프로세서), 또는 메모리 장치에 저장된 하나 이상의 소프트웨어 프로그램들을 실행함으로써, 해당 동작들을 수행할 수 있는 범용 프로세서(예: CPU 또는 application processor)를 의미할 수 있다.
본 개시의 다양한 실시예들에 따른 전자 장치는, 예를 들면, 스마트폰, 태블릿 PC, 이동 전화기, 영상 전화기, 전자책 리더기, 데스크탑 PC, 랩탑 PC, 넷북 컴퓨터, 워크스테이션, 서버, PDA, PMP(portable multimedia player), MP3 플레이어, 의료기기, 카메라, 또는 웨어러블 장치 중 적어도 하나를 포함할 수 있다. 웨어러블 장치는 액세서리형(예: 시계, 반지, 팔찌, 발찌, 목걸이, 안경, 콘택트 렌즈, 또는 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형(예: 전자 의복), 신체 부착형(예: 스킨 패드 또는 문신), 또는 생체 이식형 회로 중 적어도 하나를 포함할 수 있다. 어떤 실시예들에서, 전자 장치는, 예를 들면, 텔레비전, DVD(digital video disk) 플레이어, 오디오, 냉장고, 에어컨, 청소기, 오븐, 전자레인지, 세탁기, 공기 청정기, 셋톱 박스, 홈 오토매이션 컨트롤 패널, 보안 컨트롤 패널, 미디어 박스(예: 삼성 HomeSyncTM, 애플TVTM, 또는 구글 TVTM), 게임 콘솔(예: XboxTM, PlayStationTM), 전자 사전, 전자 키, 캠코더, 또는 전자 액자 중 적어도 하나를 포함할 수 있다.
다른 실시예에서, 전자 장치는, 각종 의료기기(예: 각종 휴대용 의료측정기기(혈당 측정기, 심박 측정기, 혈압 측정기, 또는 체온 측정기 등), MRA(magnetic resonance angiography), MRI(magnetic resonance imaging), CT(computed tomography), 촬영기, 또는 초음파기 등), 네비게이션 장치, 위성 항법 시스템(GNSS(global navigation satellite system)), EDR(event data recorder), FDR(flight data recorder), 자동차 인포테인먼트 장치, 선박용 전자 장비(예: 선박용 항법 장치, 자이로 콤파스 등), 항공 전자기기(avionics), 보안 기기, 차량용 헤드 유닛(head unit), 산업용 또는 가정용 로봇, 드론(drone), 금융 기관의 ATM, 상점의 POS(point of sales), 또는 사물 인터넷 장치 (예: 전구, 각종 센서, 스프링클러 장치, 화재 경보기, 온도조절기, 가로등, 토스터, 운동기구, 온수탱크, 히터, 보일러 등) 중 적어도 하나를 포함할 수 있다. 어떤 실시예에 따르면, 전자 장치는 가구, 건물/구조물 또는 자동차의 일부, 전자 보드(electronic board), 전자 사인 수신 장치(electronic signature receiving device), 프로젝터, 또는 각종 계측 기기(예: 수도, 전기, 가스, 또는 전파 계측 기기 등) 중 적어도 하나를 포함할 수 있다. 다양한 실시예에서, 전자 장치는 플렉서블하거나, 또는 전술한 다양한 장치들 중 둘 이상의 조합일 수 있다. 본 문서의 실시예에 따른 전자 장치는 전술한 기기들에 한정되지 않는다. 본 문서에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1은 본 개시의 다양한 실시 예들에 따른 전자 장치(electronic device)를 포함하는 네트워크 환경(network environment)을 도시한다.
도 1을 참고하면, 전자 장치 101은 버스 110, 프로세서 120, 메모리 130, 입출력 인터페이스 150, 디스플레이 160, 및 통신 인터페이스 170을 포함할 수 있다. 어떤 실시예에서는, 전자 장치 101은, 구성요소들 중 적어도 하나를 생략하거나 다른 구성요소를 추가적으로 구비할 수 있다.
버스 110은 구성요소들 110-170을 서로 연결하고, 구성요소들 간의 통신(예: 제어 메시지 또는 데이터)을 전달하는 회로를 포함할 수 있다. 프로세서 120은, 중앙처리장치, 어플리케이션 프로세서, 또는 커뮤니케이션 프로세서(communication processor, CP) 중 하나 또는 그 이상을 포함할 수 있다. 프로세서 120은, 예를 들면, 전자 장치 101의 적어도 하나의 다른 구성요소들의 제어 및/또는 통신에 관한 연산이나 데이터 처리를 실행할 수 있다.
메모리 130은, 휘발성 및/또는 비휘발성 메모리를 포함할 수 있다. 메모리 130은, 예를 들면, 전자 장치 101의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 저장할 수 있다. 한 실시예에 따르면, 메모리 130은 소프트웨어 및/또는 프로그램 140을 저장할 수 있다. 프로그램 140은, 예를 들면, 커널 141, 미들웨어 143, 어플리케이션 프로그래밍 인터페이스 API 145, 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 147 등을 포함할 수 있다. 커널 141, 미들웨어 143, 또는 API 145의 적어도 일부는, 운영 시스템으로 지칭될 수 있다. 커널 141은, 예를 들면, 다른 프로그램들(예: 미들웨어 143, API 145, 또는 어플리케이션 프로그램 147)에 구현된 동작 또는 기능을 실행하는 데 사용되는 시스템 리소스들(예: 버스 110, 프로세서 120, 또는 메모리 130 등)을 제어 또는 관리할 수 있다. 또한, 커널 141은 미들웨어 143, API 145, 또는 어플리케이션 프로그램 147에서 전자 장치 101의 개별 구성요소에 접근함으로써, 시스템 리소스들을 제어 또는 관리할 수 있는 인터페이스를 제공할 수 있다.
미들웨어 143은, 예를 들면, API 145 또는 어플리케이션 프로그램 147이 커널 141과 통신하여 데이터를 주고받을 수 있도록 중개 역할을 수행할 수 있다. 또한, 미들웨어 143은 어플리케이션 프로그램 147으로부터 수신된 하나 이상의 작업 요청들을 우선 순위에 따라 처리할 수 있다. 예를 들면, 미들웨어 143은 어플리케이션 프로그램 147 중 적어도 하나에 전자 장치 101의 시스템 리소스(예: 버스 110, 프로세서 120, 또는 메모리 130 등)를 사용할 수 있는 우선 순위를 부여하고, 상기 하나 이상의 작업 요청들을 처리할 수 있다. API 145는 어플리케이션 147이 커널 141 또는 미들웨어 143에서 제공되는 기능을 제어하기 위한 인터페이스로, 예를 들면, 파일 제어, 창 제어, 영상 처리, 또는 문자 제어 등을 위한 적어도 하나의 인터페이스 또는 함수(예: 명령어)를 포함할 수 있다. 입출력 인터페이스 150은, 예를 들면, 사용자 또는 다른 외부 기기로부터 입력된 명령 또는 데이터를 전자 장치 101의 다른 구성요소(들)에 전달하거나, 또는 전자 장치 101의 다른 구성요소(들)로부터 수신된 명령 또는 데이터를 사용자 또는 다른 외부 기기로 출력할 수 있다.
디스플레이 160은, 예를 들면, 액정 디스플레이(LCD), 발광 다이오드(LED) 디스플레이, 유기 발광 다이오드(OLED) 디스플레이, 또는 마이크로 전자기계 시스템 (MEMS) 디스플레이, 또는 전자종이(electronic paper) 디스플레이를 포함할 수 있다. 디스플레이 160은, 예를 들면, 사용자에게 각종 콘텐츠(예: 텍스트, 이미지, 비디오, 아이콘, 및/또는 심볼 등)을 표시할 수 있다. 디스플레이 160은, 터치 스크린을 포함할 수 있으며, 예를 들면, 전자 펜 또는 사용자의 신체의 일부를 이용한 터치, 제스쳐, 근접, 또는 호버링 입력을 수신할 수 있다. 통신 인터페이스 170은, 예를 들면, 전자 장치 101과 외부 장치(예: 제 1 외부 전자 장치 102, 제 2 외부 전자 장치 104, 또는 서버 106) 간의 통신을 설정할 수 있다. 예를 들면, 통신 인터페이스 170은 무선 통신 또는 유선 통신을 통해서 네트워크 162에 연결되어 외부 장치(예: 제 2 외부 전자 장치 104 또는 서버 106)와 통신할 수 있다.
무선 통신은, 예를 들면, LTE, LTE-A(LTE Advance), CDMA(code division multiple access), WCDMA(wideband CDMA), UMTS(universal mobile telecommunications system), WiBro(Wireless Broadband), 또는 GSM(Global System for Mobile Communications) 등 중 적어도 하나를 사용하는 셀룰러 통신을 포함할 수 있다. 한 실시예에 따르면, 무선 통신은, 예를 들면, WiFi(wireless fidelity), 블루투스, 블루투스 저전력(BLE), 지그비(Zigbee), NFC(near field communication), 자력 시큐어 트랜스미션(Magnetic Secure Transmission), 라디오 프리퀀시(RF), 또는 보디 에어리어 네트워크(BAN) 중 적어도 하나를 포함할 수 있다. 한 실시예에 따르면, 무선 통신은 GNSS를 포함할 수 있다. GNSS는, 예를 들면, GPS(Global Positioning System), Glonass(Global Navigation Satellite System), Beidou Navigation Satellite System(이하 "Beidou") 또는 Galileo, the European global satellite-based navigation system일 수 있다. 이하, 본 문서에서는, "GPS"는 "GNSS"와 상호 호환적으로 사용될 수 있다. 유선 통신은, 예를 들면, USB(universal serial bus), HDMI(high definition multimedia interface), RS-232(recommended standard232), 전력선 통신, 또는 POTS(plain old telephone service) 등 중 적어도 하나를 포함할 수 있다. 네트워크(162)는 텔레커뮤니케이션 네트워크, 예를 들면, 컴퓨터 네트워크(예: LAN 또는 WAN), 인터넷, 또는 텔레폰 네트워크 중 적어도 하나를 포함할 수 있다.
제 1 외부 전자 장치 102 및 제 2 외부 전자 장치 104 각각은 전자 장치 101과 동일한 또는 다른 종류의 장치일 수 있다. 다양한 실시예에 따르면, 전자 장치 101에서 실행되는 동작들의 전부 또는 일부는 다른 하나 또는 복수의 전자 장치(예: 전자 장치 102, 전자 장치 104, 또는 서버 106)에서 실행될 수 있다. 한 실시예에 따르면, 전자 장치 101이 어떤 기능이나 서비스를 자동으로 또는 요청에 의하여 수행해야 할 경우에, 전자 장치 101은 기능 또는 서비스를 자체적으로 실행시키는 대신에 또는 추가적으로, 그와 연관된 적어도 일부 기능을 다른 장치(예: 전자 장치 102, 전자 장치 104, 또는 서버 106)에게 요청할 수 있다. 다른 전자 장치(예: 전자 장치 102, 전자 장치 104, 또는 서버 106)는 요청된 기능 또는 추가 기능을 실행하고, 그 결과를 전자 장치 101로 전달할 수 있다. 전자 장치 101은 수신된 결과를 그대로 또는 추가적으로 처리하여 요청된 기능이나 서비스를 제공할 수 있다. 이를 위하여, 예를 들면, 클라우드 컴퓨팅, 분산 컴퓨팅, 또는 클라이언트-서버 컴퓨팅 기술이 이용될 수 있다.
도 2는 본 개시의 다양한 실시 예들에 따른 전자 장치의 블록도를 도시한다. 전자 장치 201은, 예를 들면, 도 1에 도시된 전자 장치 101의 전체 또는 일부를 포함할 수 있다.
도 2를 참고하면, 전자 장치 201은 하나 이상의 프로세서(예: AP) 210, 통신 모듈 220, 가입자 식별 모듈 224, 메모리 230, 센서 모듈 240, 입력 장치 250, 디스플레이 260, 인터페이스 270, 오디오 모듈 280, 카메라 모듈 291, 전력 관리 모듈 295, 배터리 296, 인디케이터 297, 및 모터 298 를 포함할 수 있다.
프로세서 210은, 예를 들면, 운영 체제 또는 어플리케이션 프로그램을 구동하여 프로세서 210에 연결된 다수의 하드웨어 또는 소프트웨어 구성요소들을 제어할 수 있고, 각종 데이터 처리 및 연산을 수행할 수 있다. 프로세서 210은, 예를 들면, SoC(system on chip) 로 구현될 수 있다. 한 실시예에 따르면, 프로세서 210은 GPU(graphic processing unit) 및/또는 이미지 신호 프로세서를 더 포함할 수 있다. 프로세서 210은 도 2에 도시된 구성요소들 중 적어도 일부(예: 셀룰러 모듈 221)를 포함할 수도 있다. 프로세서 210은 다른 구성요소들(예: 비휘발성 메모리) 중 적어도 하나로부터 수신된 명령 또는 데이터를 휘발성 메모리에 로드하여 처리하고, 결과 데이터를 비휘발성 메모리에 저장할 수 있다. 다양한 실시 예들에서, 상기 프로세서 210은, 판단 동작을 수행할 수 있다. 상기 프로세서 210은, 판단 동작을 수행하기 위한 알고리즘을 실행할 수 있다. 상기 알고리즘은, 컨벌루션 신경망(convolutional neural network, CNN), 순환 신경망 (recureent neural network, RNN), 및 심층 신경망 (deep neural network, DNN) 등과 관련된 학습 알고리즘을 포함할 수 있다. 상기 프로세서 210은, 상기 알고리즘을 통하여, 발생하는 사건, 결정한 판단, 수집되거나 입력되는 정보를 학습할 수 있다. 상기 프로세서 210은 이러한 학습 결과를 메모리에 저장할 수 있다.
통신 모듈 220은, 예를 들면, 도 1에 도시된 통신 인터페이스 170과 동일 또는 유사한 구성을 가질 수 있다. 통신 모듈 220은, 예를 들면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227, NFC 모듈 228 및 RF 모듈 229를 포함할 수 있다. 셀룰러 모듈 221은, 예를 들면, 통신망을 통해서 음성 통화, 영상 통화, 문자 서비스, 또는 인터넷 서비스 등을 제공할 수 있다. 한 실시예에 따르면, 셀룰러 모듈 221은 가입자 식별 모듈(예: SIM 카드) 224를 이용하여 통신 네트워크 내에서 전자 장치 201의 구별 및 인증을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈 221은 프로세서 210이 제공할 수 있는 기능 중 적어도 일부 기능을 수행할 수 있다. 한 실시예에 따르면, 셀룰러 모듈 221은 커뮤니케이션 프로세서(CP)를 포함할 수 있다. 어떤 실시예에 따르면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227 또는 NFC 모듈 228 중 적어도 일부(예: 두 개 이상)는 하나의 integrated chip(IC) 또는 IC 패키지 내에 포함될 수 있다. RF 모듈 229는, 예를 들면, 통신 신호(예: RF 신호)를 송수신할 수 있다. RF 모듈 229는, 예를 들면, 트랜시버, PAM(power amp module), 주파수 필터, 저잡음 증폭기(LNA), 또는 안테나 등을 포함할 수 있다. 다른 실시예에 따르면, 셀룰러 모듈 221, WiFi 모듈 223, 블루투스 모듈 225, GNSS 모듈 227 또는 NFC 모듈 228 중 적어도 하나는 별개의 RF 모듈을 통하여 RF 신호를 송수신할 수 있다. 가입자 식별 모듈 224는, 예를 들면, 가입자 식별 모듈을 포함하는 카드 또는 임베디드 SIM을 포함할 수 있으며, 고유한 식별 정보(예: ICCID(integrated circuit card identifier)) 또는 가입자 정보(예: IMSI(international mobile subscriber identity))를 포함할 수 있다.
메모리 230(예: 메모리 130)은, 예를 들면, 내장 메모리 232 또는 외장 메모리 234를 포함할 수 있다. 내장 메모리 232는, 예를 들면, 휘발성 메모리(예: DRAM, SRAM, 또는 SDRAM 등), 비휘발성 메모리(예: OTPROM(one time programmable ROM), PROM, EPROM, EEPROM, mask ROM, flash ROM, 플래시 메모리, 하드 드라이브, 또는 솔리드 스테이트 드라이브 (SSD) 중 적어도 하나를 포함할 수 있다. 외장 메모리 234는 플래시 드라이브(flash drive), 예를 들면, CF(compact flash), SD(secure digital), Micro-SD, Mini-SD, xD(extreme digital), MMC(multi-media card) 또는 메모리 스틱 등을 포함할 수 있다. 외장 메모리(234)는 다양한 인터페이스를 통하여 전자 장치 201과 기능적으로 또는 물리적으로 연결될 수 있다. 다양한 실시 예들에서, 상기 메모리 230은 상기 프로세서 210의 학습 알고리즘의 동작을 통한 학습 결과를 저장할 수 있다. 구체적으로, 상기 메모리 230은, 회의가 진행되는 동안, 상기 프로세서 210가 분석하여 생성하는 학습 결과를, 확률 또는 통계(statistics)에 기반하여 데이터베이스(database, DB)를 구축할 수 있다. 상기 데이터베이스는 패턴 데이터베이스로 지칭될 수 있다.
센서 모듈 240은, 예를 들면, 물리량을 계측하거나 전자 장치 201의 작동 상태를 감지하여, 계측 또는 감지된 정보를 전기 신호로 변환할 수 있다. 센서 모듈 240은, 예를 들면, 제스처 센서 240A, 자이로 센서 240B, 기압 센서 240C, 마그네틱 센서 240D, 가속도 센서 240E, 그립 센서 240F, 근접 센서 240G, 컬러(color) 센서 240H(예: RGB(red, green, blue) 센서), 생체 센서 240I, 온/습도 센서240J, 조도 센서 240K, 또는 UV(ultra violet) 센서 240M 중의 적어도 하나를 포함할 수 있다. 추가적으로 또는 대체적으로, 센서 모듈 240은, 예를 들면, 후각(e-nose) 센서, 일렉트로마이오그라피(EMG) 센서, 일렉트로엔씨팔로그램(EEG) 센서, 일렉트로카디오그램(ECG) 센서, IR(infrared) 센서, 홍채 센서 및/또는 지문 센서를 포함할 수 있다. 센서 모듈 240은 그 안에 속한 적어도 하나 이상의 센서들을 제어하기 위한 제어 회로를 더 포함할 수 있다. 어떤 실시예에서는, 전자 장치 201은 프로세서 210의 일부로서 또는 별도로, 센서 모듈 240을 제어하도록 구성된 프로세서를 더 포함하여, 프로세서 210이 슬립(sleep) 상태에 있는 동안, 센서 모듈 240을 제어할 수 있다. 다양한 실시 예들에서, 상기 센서 모듈 240은, 회의에 참가한 참가자의 특정 신체 부위(예: 머리, 손, 눈)의 움직임을 판단하거나 참가자의 제스처를 인식할 수 있다. 뿐만 아니라, 상기 센서 모듈 240은 회의가 진행되는 환경(예: 회의실)에 대한 온도, 습도, 조도, 및 기압 등을 측정할 수 있다. 상기 센서 모듈 240은, 상기 인식 및 측정 결과를 상기 프로세서 210에게 전달할 수 있다.
입력 장치 250은, 예를 들면, 터치 패널 252, (디지털) 펜 센서 254, 키 256, 또는 초음파 입력 장치 258를 포함할 수 있다. 터치 패널 252는, 예를 들면, 정전식, 감압식, 적외선 방식, 또는 초음파 방식 중 적어도 하나의 방식을 사용할 수 있다. 또한, 터치 패널 252는 제어 회로를 더 포함할 수도 있다. 터치 패널 252는 택타일 레이어(tactile layer)를 더 포함하여, 사용자에게 촉각 반응을 제공할 수 있다. (디지털) 펜 센서 254는, 예를 들면, 터치 패널의 일부이거나, 별도의 인식용 쉬트를 포함할 수 있다. 키 256은, 예를 들면, 물리적인 버튼, 광학식 키, 또는 키패드를 포함할 수 있다. 초음파 입력 장치 258은 마이크(예: 마이크 288)를 통해, 입력 도구에서 발생된 초음파를 감지하여, 상기 감지된 초음파에 대응하는 데이터를 확인할 수 있다.
디스플레이 260(예: 디스플레이 160)은 패널 262, 홀로그램 장치 264, 프로젝터 266, 및/또는 이들을 제어하기 위한 제어 회로를 포함할 수 있다. 패널 262는, 예를 들면, 유연하게, 투명하게, 또는 착용할 수 있게 구현될 수 있다. 패널 262는 터치 패널 252와 하나 이상의 모듈로 구성될 수 있다. 한 실시 예에 따르면, 패널 262는 사용자의 터치에 대한 입력의 세기를 측정할 수 있는 압력 센서(또는 포스 센서)를 포함할 수 있다. 상기 압력 센서는 터치 패널 252와 일체형으로 구현되거나, 또는 터치 패널 252와는 별도의 하나 이상의 센서로 구현될 수 있다. 홀로그램 장치 264는 빛의 간섭을 이용하여 입체 영상을 허공에 보여줄 수 있다. 프로젝터 266는 스크린에 빛을 투사하여 영상을 표시할 수 있다. 스크린은, 예를 들면, 전자 장치 201의 내부 또는 외부에 위치할 수 있다. 인터페이스 270는, 예를 들면, HDMI 272, USB 274, 광 인터페이스(optical interface) 276, 또는 D-sub(D-subminiature) 278을 포함할 수 있다. 인터페이스 270은, 예를 들면, 도 1에 도시된 통신 인터페이스 170에 포함될 수 있다. 추가적으로 또는 대체적으로, 인터페이스 270은, 예를 들면, MHL(mobile high-definition link) 인터페이스, SD카드/MMC(multi-media card) 인터페이스, 또는 IrDA(infrared data association) 규격 인터페이스를 포함할 수 있다.
오디오 모듈 280은, 예를 들면, 소리와 전기 신호를 쌍방향으로 변환시킬 수 있다. 오디오 모듈 280의 적어도 일부 구성요소는, 예를 들면, 도 1 에 도시된 입출력 인터페이스 145에 포함될 수 있다. 오디오 모듈 280은, 예를 들면, 스피커 282, 리시버 284, 이어폰 286, 또는 마이크 288 등을 통해 입력 또는 출력되는 소리 정보를 처리할 수 있다. 다양한 실시 예들에서, 상기 오디오 모듈 280은 자연어 모듈(natural language module)을 포함할 수 있다. 상기 자연어 모듈은 자연어 처리(natural language processing, NLP)를 수행하기 위한 모듈일 수 있다. 구체적으로, 상기 자연어 모듈은 전기 신호로부터 인식되는 텍스트에 대한 자연어를 생성(예: 자연어 생성(natural language generation, NLG))하거나, 소리의 자연어를 인식(예: 자연어 이해(natrula language understanding, NLU)할 수 있다). 카메라 모듈 291은, 예를 들면, 정지 영상 및 동영상을 촬영할 수 있는 장치로서, 일 실시예에 따르면, 하나 이상의 이미지 센서(예: 전면 센서 또는 후면 센서), 렌즈, 이미지 시그널 프로세서(ISP), 또는 플래시(예: LED 또는 xenon lamp 등)를 포함할 수 있다. 일 실시예에 따르면, 상기 카메라 모듈 291은 참가자들 각각을 인식하기 위한 3D(3-dimensional) cammera를 포함할 수도 있다. 다양한 실시 예들에서, 상기 카메라 모듈은 참가자의 영상을 촬영하거나, 참가자의 이미지를획득할 수 있다. 전력 관리 모듈 295는, 예를 들면, 전자 장치 201의 전력을 관리할 수 있다. 한 실시예에 따르면, 전력 관리 모듈 295는 PMIC(power management integrated circuit), 충전 IC, 또는 배터리 또는 연료 게이지를 포함할 수 있다. PMIC는, 유선 및/또는 무선 충전 방식을 가질 수 있다. 무선 충전 방식은, 예를 들면, 자기공명 방식, 자기유도 방식 또는 전자기파 방식 등을 포함하며, 무선 충전을 위한 부가적인 회로, 예를 들면, 코일 루프, 공진 회로, 또는 정류기 등을 더 포함할 수 있다. 배터리 게이지는, 예를 들면, 배터리 296의 잔량, 충전 중 전압, 전류, 또는 온도를 측정할 수 있다. 배터리 296은, 예를 들면, 충전식 전지 및/또는 태양 전지를 포함할 수 있다.
인디케이터 297은 전자 장치 201 또는 그 일부(예: 프로세서 210)의 특정 상태, 예를 들면, 부팅 상태, 메시지 상태 또는 충전 상태 등을 표시할 수 있다. 모터 298은 전기적 신호를 기계적 진동으로 변환할 수 있고, 진동, 또는 햅틱 효과 등을 발생시킬 수 있다. 전자 장치 201는, 예를 들면, DMB(digital multimedia broadcasting), DVB(digital video broadcasting), 또는 미디어플로(mediaFloTM) 등의 규격에 따른 미디어 데이터를 처리할 수 있는 모바일 TV 지원 장치(예: GPU)를 포함할 수 있다. 본 문서에서 기술된 구성요소들 각각은 하나 또는 그 이상의 부품(component)으로 구성될 수 있으며, 해당 구성요소의 명칭은 전자 장치의 종류에 따라서 달라질 수 있다. 다양한 실시예에서, 전자 장치(예: 전자 장치 201)는 일부 구성요소가 생략되거나, 추가적인 구성요소를 더 포함하거나, 또는, 구성요소들 중 일부가 결합되어 하나의 개체로 구성되되, 결합 이전의 해당 구성요소들의 기능을 동일하게 수행할 수 있다.
도 3은 본 개시의 다양한 실시 예들에 따른 프로그램 모듈의 블록도를 도시한다. 한 실시예에 따르면, 프로그램 모듈 310(예: 프로그램 140)은 전자 장치(예: 전자 장치 101)에 관련된 자원을 제어하는 운영 체제 및/또는 운영 체제 상에서 구동되는 다양한 어플리케이션(예: 어플리케이션 프로그램 147)을 포함할 수 있다. 운영 체제는, 예를 들면, AndroidTM, iOSTM, WindowsTM, SymbianTM, TizenTM, 또는 BadaTM를 포함할 수 있다.
도 3을 참고하면, 프로그램 모듈 310은 커널 320(예: 커널 141), 미들웨어 330(예: 미들웨어 143), API 360(예: API 145), 및/또는 어플리케이션 370(예: 어플리케이션 프로그램 147)을 포함할 수 있다. 프로그램 모듈 310의 적어도 일부는 전자 장치 상에 프리로드 되거나, 외부 전자 장치(예: 전자 장치 102, 전자 장치 104, 서버 106 등)로부터 다운로드 가능하다.
커널 320은, 예를 들면, 시스템 리소스 매니저 321 및/또는 디바이스 드라이버 323을 포함할 수 있다. 시스템 리소스 매니저 321은 시스템 리소스의 제어, 할당, 또는 회수를 수행할 수 있다. 한 실시예에 따르면, 시스템 리소스 매니저 321은 프로세스 관리부, 메모리 관리부, 또는 파일 시스템 관리부를 포함할 수 있다. 디바이스 드라이버 323은, 예를 들면, 디스플레이 드라이버, 카메라 드라이버, 블루투스 드라이버, 공유 메모리 드라이버, USB 드라이버, 키패드 드라이버, WiFi 드라이버, 오디오 드라이버, 또는 IPC(inter-process communication) 드라이버를 포함할 수 있다. 미들웨어 330은, 예를 들면, 어플리케이션 370이 공통적으로 필요로 하는 기능을 제공하거나, 어플리케이션 370이 전자 장치 내부의 제한된 시스템 자원을 사용할 수 있도록 API 360을 통해 다양한 기능들을 어플리케이션 370으로 제공할 수 있다. 한 실시예에 따르면, 미들웨어 330은 런타임 라이브러리 335, 어플리케이션 매니저 341, 윈도우 매니저 342, 멀티미디어 매니저 343, 리소스 매니저 344, 파워 매니저 345, 데이터베이스 매니저 346, 패키지 매니저 347, 커넥티비티 매니저 348, 노티피케이션 매니저 349, 로케이션 매니저 350, 그래픽 매니저 351, 또는 시큐리티 매니저 352 중 적어도 하나를 포함할 수 있다.
런타임 라이브러리 335는, 예를 들면, 어플리케이션 370이 실행되는 동안에 프로그래밍 언어를 통해 새로운 기능을 추가하기 위해 컴파일러가 사용하는 라이브러리 모듈을 포함할 수 있다. 런타임 라이브러리 335는 입출력 관리, 메모리 관리, 또는 산술 함수 처리를 수행할 수 있다. 어플리케이션 매니저 341은, 예를 들면, 어플리케이션 370의 생명 주기를 관리할 수 있다. 윈도우 매니저 342는 화면에서 사용되는 GUI 자원을 관리할 수 있다. 멀티미디어 매니저 343은 미디어 파일들의 재생에 필요한 포맷을 파악하고, 해당 포맷에 맞는 코덱을 이용하여 미디어 파일의 인코딩 또는 디코딩을 수행할 수 있다. 리소스 매니저 344는 어플리케이션 370의 소스 코드 또는 메모리의 공간을 관리할 수 있다. 파워 매니저 345는, 예를 들면, 배터리의 용량 또는 전원을 관리하고, 전자 장치의 동작에 필요한 전력 정보를 제공할 수 있다. 한 실시예에 따르면, 파워 매니저 345는 바이오스(BIOS: basic input/output system)와 연동할 수 있다. 데이터베이스 매니저 346은, 예를 들면, 어플리케이션 370에서 사용될 데이터베이스를 생성, 검색, 또는 변경할 수 있다. 패키지 매니저 347은 패키지 파일의 형태로 배포되는 어플리케이션의 설치 또는 갱신을 관리할 수 있다.
커넥티비티 매니저 348은, 예를 들면, 무선 연결을 관리할 수 있다. 노티피케이션 매니저 349는, 예를 들면, 도착 메시지, 약속, 근접성 알림 등의 이벤트를 사용자에게 제공할 수 있다. 로케이션 매니저 350는, 예를 들면, 전자 장치의 위치 정보를 관리할 수 있다. 그래픽 매니저 351은, 예를 들면, 사용자에게 제공될 그래픽 효과 또는 이와 관련된 사용자 인터페이스를 관리할 수 있다. 보안 매니저 352는, 예를 들면, 시스템 보안 또는 사용자 인증을 제공할 수 있다. 한 실시예에 따르면, 미들웨어 330은 전자 장치의 음성 또는 영상 통화 기능을 관리하기 위한 통화(telephony) 매니저 또는 전술된 구성요소들의 기능들의 조합을 형성할 수 있는 하는 미들웨어 모듈을 포함할 수 있다. 한 실시예에 따르면, 미들웨어 330은 운영 체제의 종류 별로 특화된 모듈을 제공할 수 있다. 미들웨어 330은 동적으로 기존의 구성요소를 일부 삭제하거나 새로운 구성요소들을 추가할 수 있다. API 360은, 예를 들면, API 프로그래밍 함수들의 집합으로, 운영 체제에 따라 다른 구성으로 제공될 수 있다. 예를 들면, 안드로이드 또는 iOS의 경우, 플랫폼 별로 하나의 API 셋을 제공할 수 있으며, 타이젠의 경우, 플랫폼 별로 두 개 이상의 API 셋을 제공할 수 있다.
어플리케이션 370은, 예를 들면, 홈 371, 다이얼러 372, SMS/MMS 373, IM(instant message) 374, 브라우저 375, 카메라 376, 알람 377, 컨택트 378, 음성 다이얼 379, 이메일 380, 달력 381, 미디어 플레이어 382, 앨범 383, 와치 384, 헬스 케어(예: 운동량 또는 혈당 등을 측정), 또는 환경 정보(예: 기압, 습도, 또는 온도 정보) 제공 어플리케이션을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션 370은 전자 장치와 외부 전자 장치 사이의 정보 교환을 지원할 수 있는 정보 교환 어플리케이션을 포함할 수 있다. 정보 교환 어플리케이션은, 예를 들면, 외부 전자 장치에 특정 정보를 전달하기 위한 노티피케이션 릴레이 어플리케이션, 또는 외부 전자 장치를 관리하기 위한 장치 관리 어플리케이션을 포함할 수 있다. 예를 들면, 알림 전달 어플리케이션은 전자 장치의 다른 어플리케이션에서 발생된 알림 정보를 외부 전자 장치로 전달하거나, 또는 외부 전자 장치로부터 알림 정보를 수신하여 사용자에게 제공할 수 있다. 장치 관리 어플리케이션은, 예를 들면, 전자 장치와 통신하는 외부 전자 장치의 기능(예: 외부 전자 장치 자체(또는, 일부 구성 부품)의 턴-온/턴-오프 또는 디스플레이의 밝기(또는, 해상도) 조절), 또는 외부 전자 장치에서 동작하는 어플리케이션을 설치, 삭제, 또는 갱신할 수 있다. 한 실시예에 따르면, 어플리케이션 370은 외부 전자 장치의 속성에 따라 지정된 어플리케이션(예: 모바일 의료 기기의 건강 관리 어플리케이션)을 포함할 수 있다. 한 실시예에 따르면, 어플리케이션 370은 외부 전자 장치로부터 수신된 어플리케이션을 포함할 수 있다. 프로그램 모듈 310의 적어도 일부는 소프트웨어, 펌웨어, 하드웨어(예: 프로세서 210), 또는 이들 중 적어도 둘 이상의 조합으로 구현(예: 실행)될 수 있으며, 하나 이상의 기능을 수행하기 위한 모듈, 프로그램, 루틴, 명령어 세트 또는 프로세스를 포함할 수 있다.
한 실시 예에 따르면, 상기 어플리케이션 370은, 회의에 참가한 참가자의 식별을 위한 어플리케이션(예: 얼굴 인식 어플리캐이션)을 포함할 수 있다. 한 실시 예에 따르면, 상기 어플리케이션 370은, 회의에 참가한 참가자의 움직임(예: 머리 또는 눈 움직임 추적) 식별을 위한 어플리케이션(예: 동작 인식 어플리케이션)을 포함할 수 있다. 한 실시 예에 따르면, 상기 어플리케이션 370은 수신되는 음성 신호로부터 음성을 인식하고 제어하는 어플리케이션(예: ASR(automatic speech recognition), NLU)을 포함할 수 있다. 한 실시 예에 따르면, 상기 어플리케이션 370은 자연어 처리를 위한 어플리케이션(예: TTS(text to speech))을 포함할 수 있다.
본 문서에서 사용된 용어 "모듈"은 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. "모듈"은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. "모듈"은 기계적으로 또는 전자적으로 구현될 수 있으며, 예를 들면, 어떤 동작들을 수행하는, 알려졌거나 앞으로 개발될, ASIC(application-specific integrated circuit) 칩, FPGAs(field-programmable gate arrays), 또는 프로그램 가능 논리 장치를 포함할 수 있다. 다양한 실시예에 따른 장치(예: 모듈들 또는 그 기능들) 또는 방법(예: 동작들)의 적어도 일부는 프로그램 모듈의 형태로 컴퓨터로 판독 가능한 저장 매체(예:메모리 130)에 저장된 명령어로 구현될 수 있다. 상기 명령어가 프로세서(예: 프로세서 120)에 의해 실행될 경우, 프로세서가 상기 명령어에 해당하는 기능을 수행할 수 있다. 컴퓨터로 판독 가능한 기록 매체는, 하드디스크, 플로피디스크, 마그네틱 매체(예: 자기테이프), 광기록 매체(예: CD-ROM, DVD), 자기-광 매체 (예: 플롭티컬 디스크), 내장 메모리 등을 포함할 수 있다. 명령어는 컴파일러에 의해 만들어지는 코드 또는 인터프리터에 의해 실행될 수 있는 코드를 포함할 수 있다. 다양한 실시예에 따른 모듈 또는 프로그램 모듈은 전술한 구성요소들 중 적어도 하나 이상을 포함하거나, 일부가 생략되거나, 또는 다른 구성요소를 더 포함할 수 있다. 다양한 실시예에 따른, 모듈, 프로그램 모듈 또는 다른 구성요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이하 본 개시는 무선 통신 시스템에서 회의를 진행하기 위한 장치 및 방법에 관한 것이다. 구체적으로, 본 개시는 사용자별 개인화된 정보를 학습하여 회의 패턴을 제공함으로써, 최적의 회의 환경을 제공하기 위한 동작들을 설명한다.
도 4는 본 개시의 다양한 실시 예들에 따른 회의 환경을 도시한다. 이하, 도 4에서는 다양한 실시 예들을 설명하기 위하여, 필요한 용어들에 대하여 정의하고, 전제되는 환경에 대하여 설명한다. 이하 설명에서 사용되는 제어 정보를 지칭하는 용어, 신호 처리 방식을 지칭하는 용어(예: 분석(analyzation), 판단(judgement), 결정(determination), 상태 변화를 지칭하는 용어(예: 이벤트(event)), 송신 신호를 지칭하는 용어, 망 객체(network entity)들을 지칭하는 용어, 메시지들을 지칭하는 용어(예: 신호, 정보), 장치의 구성 요소를 지칭하는 용어 등은 설명의 편의를 위해 예시된 것임을 유의하여야 한다. 따라서, 본 문서에서 후술되는 용어들은 동일한 기술적 의미를 가지는 다른 용어로 대체될 수 있다.
도 4를 참고하면, 회의 환경 400은, 회의를 제공하는 장치로써, 전자 장치 401(예: 전자 장치 201)을 포함할 수 있다. 여기서, 회의는 적어도 둘 이상의 사용자가 의사 소통을 수행하는 행위(action)를 의미할 수 있다. 보다 구체적으로, 상기 회의는 적어도 둘 이상의 사용자가 공통된 의제에 대해, 의견을 공유하거나, 응답을 요청하거나, 동의를 요구하는 행위를 지칭할 수 있다. 즉, 이하 본 문서에서 회의(meeting)는 공식적으로 계획되는 토론 형식의 회의(conference), 대표들이 모여 토론하는 회의(congress), 자문 성격의 소규모 회의(council), 정기적으로 행해지는 회의(convention)뿐만 아니라 가족 회의(family meeting), 화상 대화(video conversation)등을 포함하는 포괄적인 의미일 수 있다. 또한, 여기서, 전자 장치 401은, 실시 예들에 따라, 적응적 관리자(adaptive operator), 회의 장치(metting apparatus), 회의 관리자(meeting operator), 적응적 회의 관리자(adaptive meeting operator), 다모드(multimodal) 장치, 상호적 회의 장치(ineterative metting apparatus) 등으로 지칭될 수 있다.
상기 회의 환경 400은, 제1 사용자 411, 제2 사용자 412, 및 제3 사용자 413을 포함할 수 있다. 상기 제1 사용자 411, 상기 제2 사용자 412, 및 상기 제3 사용자 413 각각은 참석자(attendant) 또는 참가자(participant)로 지칭될 수 있다. 상기 제1 사용자 411, 상기 제2 사용자 412, 및 상기 제3 사용자 413 모두는 참석자들 또는 참가자들로 지칭될 수 있다. 이하, 회의에 참석하는 사용자는 참가자로 지칭될 수 있다.
상기 참가자들 각각은, 역할에 따라 식별될 수 있다. 예를 들어, 상기 제1 사용자 411은, 특정 회의의 진행을 위한 참가자로서 회의 진행자(conference host)일 수 있다. 상기 제2 사용자 412는, 특정 주제(subject)에 대한 정보를 제공하는 참가자로서, 발표자(presenter)일 수 있다. 상기 사용자 413은, 의견을 듣고, 필요에 따라 질의를 수행하는 참가자로, 청취자(audience)일 수 있다. 이하, 설명에서는 3명의 사용자들이 회의에 참석하는 것을 기준으로 설명하나, 이에 한정되지 않는다. 예를 들면, 상기 회의 환경 400은 2명의 참가자들을 포함하거나, 4명 이상의 참가자들을 포함할 수 있다.
상기 전자 장치 401은, 상기 회의 환경 400에 대한 정보를 획득할 수 있다. 상기 정보는, 상기 회의 환경 400에 대하여 미리 설정되어 있거나 또는 이전 사이클에서 갱신 및 저장되는 사전 정보(advance information)를 포함할 수 있다. 또한, 상기 정보는, 상기 회의 환경 400을 상기 회의 환경 400으로부터 지속적으로 획득되는 수집 정보(collection information)를 포함할 수 있다. 상기 수집 정보는, 상기 회의 환경 400으로부터 인식되는 소리에 관한 소리 정보(sound information), 상기 회의 환경 400으로부터 수집되는 영상에 관한 영상 정보(image information), 상기 회의 환경 400의 온도 또는 습도와 같은 환경 정보(environment information)를 포함할 수 있다.
상기 전자 장치 401은, 상기 획득된 정보로부터, 참가자들 중 적어도 하나에게 회의의 진행을 위한 패턴(pattern)을 제공할 수 있다. 상기 패턴은 회의 패턴(meeting pattern)으로 지칭될 수 있다. 상기 회의 패턴은 회의를 진행하기 위한 자원(resource)의 이용 방법을 의미한다. 상기 자원은, 참가자들 중 적어도 하나에게 할당되는 시간 자원(time resource), 상기 참가자들 중 적어도 하나에게 정보를 제공하는 정보 자원(information resource), 상기 참가자들 중 적어도 하나의 환경을 제어하는 상황 자원(context resource)을 포함할 수 있다. 상기 전자 장치 401은, 위와 같이 정보를 수집하는 동작과 회의 패턴을 제공하는 동작을 반복적으로 수행함으로써, 상기 참가자들 중 적어도 하나 각각에게 적응적으로(adaptively) 회의 패턴을 제공할 수 있다.
일부 실시 예들에서, 상기 회의 패턴은, 시간 자원의 이용 방법으로서, 상기 회의에 참석한 사용자들 각각에게 할당되는 발언(utterance) 시간(period), 발언 순서(order), 발언에 대한 우선권(priority), 또는 발언 주제(subject)에 대한 순서 중 적어도 하나를 포함할 수 있다. 다른 일부 실시 예들에서, 상기 회의 패턴은, 정보 자원의 이용 방법으로서, 상기 회의에 참석한 사용자들 각각의 인적 정보(예: 직급(rank), 아이디(identifier, ID), 이름(name)), 현재 발언 중인 사용자에 관한 정보, 현재 진행 중인 주제에 관한 정보, 또는 전체 주제에 관한 정보 중 적어도 하나를 포함할 수 있다. 또 다른 일부 실시 예들에서, 상기 회의 패턴은, 상황 자원의 이용 방법으로서, 상기 회의에 참석한 사용자들 각각의 마이크의 성능 또는 스피커의 성능(예: 성량 크기(volume) 제어), 상기 사용자들 각각이 위치한 환경에서 조명의 밝기, 제공되는 화면의 밝기, 또는 소음 중 적어도 하나를 포함할 수 있다.
상기 제1 사용자 411, 상기 제2 사용자 412, 및 상기 제3 사용자 413 각각은, 회의를 진행하기 위하여 제1 전자 장치 421(예: 전자 장치 102 또는 전자 장치 104)), 제2 전자 장치 422, 및 제3 전자 장치 423을 이용할 수 있다. 예를 들어, 상기 제1 전자 장치 421은, 상기 제1 사용자 411의 음성을 다른 참가자인 제2 사용자 412에게 제공하기 위한 마이크(microphone), 상기 제2 사용자 412의 음성을 상기 제1 사용자 411에게 제공하기 위한 스피커(speaker), 회의에 필요한 정보를 상기 제1 사용자 411에게 제공하기 위한 디스플레이(display), 또는 수동적 제어를 위한 입력부(input unit) 중 적어도 하나를 포함할 수 있다. 상기 제1 전자 장치 421, 상기 제2 전자 장치 422, 및 상기 제3 전자 장치 423은 각각 상기 전자 장치 401과 유선 (wired) 또는 무선으로(wireless) 연결될 수 있다. 일부 실시 예들에서, 도 4의 도시와 달리, 상기 전자 장치 401은, 상기 제1 전자 장치 421, 상기 제2 전자 장치 422, 또는 상기 제3 전자 장치 423 중 적어도 하나에 포함될 수 있다. 예를 들어, 상기 제1 전자 장치 421이 상기 전자 장치 401을 포함하는 경우, 상기 제1 사용자 411은, 상기 제1 전자 장치 421을 통해, 발언뿐 아니라 회의의 진행을 수행할 수 있다.
상기 제1 전자 장치 421는 상기 제1 사용자 411에 의해 사용되는 장치로서, 상기 전자 장치 401과 유선 채널 또는 무선 채널을 통해 통신을 수행한다. 경우에 따라, 상기 제1 전자 장치 421은 사용자의 직접적인 제어 없이 동작할 수 있다. 즉, 상기 제1 전자 장치 421은 기계 타입 통신(machine type communication, MTC)을 수행하는 장치로서, 사용자에 의해 휴대되지 아니할 수 있다. 상기 제1 전자 장치 421은 단말(terminal) 외 '사용자 장비(user equipment, UE)', '이동국(mobile station)', '가입자국(subscriber station)', '원격 단말(remote terminal)', '무선 단말(wireless terminal)', 또는 '사용자 장치(user device)' 또는 이와 동등한 기술적 의미를 가지는 다른 용어로 지칭될 수 있다.
상기 제2 전자 장치 422, 및 상기 제3 전자 장치 423은, 상기 제1 전자 장치 421과 동일 또는 유사한 구성을 포함할 수 있다. 한편, 상기 제1 전자 장치 421, 상기 제2 전자 장치 422, 및 상기 제3 전자 장치 423은, 상기 전자 장치 401과 동일 또는 유사한 구성을 포함할 수도 있다.
상기 회의 환경 400은 공간적으로 다양한 환경을 포함할 수 있다. 상기 전자 장치 401은, 제한된 하나의 공간 내에서, 참가자들에게 회의 패턴을 제공할 수 있다. 상기 참가자들은 상기 제한된 하나의 공간 안에 위치한 상태일 수 있다. 상기 제한된 하나의 공간은 회의실(conference room)으로 지칭될 수 있다. 전자 장치 401은, 상기 전자 장치 401과 유선으로 연결된, 상기 제1 전자 장치 421, 상기 제2 전자 장치 422, 및 상기 제3 전자 장치 423 각각을 이용하여, 상기 참가자들에게 회의 패턴을 제공할 수 있다. 한편, 상기 회의실이 상기 참가자들 간의 직접적인 대화를 통해 회의를 진행하기에 무리가 없는 경우, 상기 전자 장치 401은, 상기 제1 전자 장치들 421, 상기 제2 전자 장치 422, 및 상기 제3 전자 장치 423을 이용하지 않고, 회의 패턴을 제공할 수도 있다. 이 때, 상기 전자 장치 401은, 혼합되는 음성 신호들 중에서, 상기 제1 사용자 411, 상기 제2 사용자 412, 및 상기 제3 사용자 413 각각의 음성 신호(voice signal)를 식별할 수 있다.
상기 전자 장치 401은, 복수의 제한된 공간들 각각에서도 회의를 진행할 수 있다. 도 4에서는, 하나의 제한된 공간에서 회의를 진행하는 것처럼 도시하였으나 이에 한정되지 않는다. 상기 회의 환경 400은 원격으로(remote) 분리된 상황에서 회의가 진행되는, 화상 회의(video conference) 또는 원격 회의(teleconference)의 환경을 포함할 수 있다. 상기 제1 사용자 411, 상기 제2 사용자 412, 및 상기 제3 사용자 413 각각은 지리적으로 다른 장소에 위치한 상태일 수 있다. 상기 전자 장치 401은, 무선으로 연결된 상기 제1 전자 장치 421, 상기 제2 전자 장치 422, 및 상기 제3 전자 장치 423 각각을 이용하여, 분리된 공간들 각각에서 회의 패턴을 제공할 수도 있다.
이하 설명에서, 회의의 진행은 주제 별로 구분될 수 있다. 예를 들어, 상기 전자 장치 401은 제1 주제를 위한 제1 회의와 제2 주제를 위한 제2 회의를 서로 다르게 진행할 수 있다. 또한, 특정 주제는 계층적 구조(hierarchical structure)를 포함할 수 있다. 예를 들어, 제1 대주제에 관한 회의는 제1 소주제에 관한 회의, 제2 소주제에 관한 회의, 및 제3 소주제에 관한 회의를 포함할 수 있다. 일부 실시 예들에서, 상기 전자 장치 401은, 미리 설정된 순서 또는 사용자들의 발언에 대한 자연어 인식을 통해, 진행 중인 회의의 주제 또는 진행 예정인 회의의 주제에 대한 정보를 획득할 수 있다. 상기 자연어 인식은, 음성 신호를 텍스트로 변환하는 과정(speech to text, STT), 변환된 텍스트를 문장 단위 및 단어 단위로 구분하는 과정을 포함할 수 있다. 상기 문장 내 주어, 목적어, 및 이들의 관계를 결정함으로써, 상기 전자 장치 401은 음성 신호의 의미론적인(semantic) 정보를 획득할 수 있다.
회의는 진행은 사용자별로 구분될 수도 있다. 예를 들어, 특정 주제에 관한 회의는, 제1 사용자 411의 발언, 제2 사용자 412의 발언, 제3 사용자 413의 발언, 및 상기 특정 주제와 관련된 정보(예: 특정 주제에 대한 요약 정보, 특정 주제에 대한 참고 자료, 부가 정보 등)를 포함할 수 있다. 전자 장치 401은, 미리 획득한 참가자들 각각의 식별 정보, 상기 참가자들 각각의 음성 신호, 또는 상기 참가자들 각각에 대한 영상 정보를 통해, 발언 중인 사용자, 다음 발언 예정인 사용자, 회의 진행자, 발표자, 청취자 중 적어도 하나를 위한 정보를 획득할 수 있다.
도 4에서는, 상기 전자 장치 401이 적응적으로 회의를 진행하기 위하여 필요한 정보 및 적응적으로 회의를 제공하기 위한 패턴들을 위한 용어를 정의하고, 회의가 진행되는 환경에 대해 서술하였다. 이하, 도 5에서는, 상기 정보를 통해 적응적으로 패턴을 제공하기 위한 전자 장치 401의 상세한 동작들(예: 훈련(training), 중재(moderation)) 에 대하여 설명한다.
도 5는 본 개시의 다양한 실시 예들에 따른 전자 장치의 흐름도를 도시한다. 상기 전자 장치는 상기 도 4의 전자 장치 401일 수 있다. 상기 전자 장치 401은, 510 내지 550 동작을 통하여, 참가자들에게 적응적으로 회의 패턴을 제공할 수 있다.
도 5를 참고하면, 510 동작에서, 전자 장치 401은, 정보를 획득할 수 있다. 상기 정보는 상기 회의 환경 400에 대해 510 동작 전 미리 설정되는 사전 정보를 포함할 수 있다. 일부 실시 예들에서, 상기 사전 정보는, 참가자에 대한 정보를 포함할 수 있다. 예를 들어, 상기 참가자에 대한 정보는, 상기 참가자들 각각의 이름, 닉네임(nickname), 나이, 직급, ID, 상기 회의에 참석하는 사용자들 총 수, 상기 참가자들 각각의 성향, 언어 습관, 관심 주제에 대한 정보, 또는 참석 예정인 사용자에 대한 정보 중 적어도 하나를 포함할 수 있다. 또한, 상기 참가자들 중 적어도 하나(예: 제1 사용자 411)가 전자 장치(예: 제1 전자 장치 421)를 사용하는 경우, 상기 참가자에 대한 정보는, 상기 전자 장치에 대한 ID를 포함할 수도 있다. 여기서, 상기 전자 장치에 대한 ID는 상기 참가자를 나타내기 위해 이용될 수도 있다.
다른 일부 실시 예들에서, 상기 사전 정보는, 회의의 주제에 관한 정보를 포함할 수 있다. 예를 들어, 상기 회의의 주제에 관한 정보는, 회의에서 논의하고자 하는 주제에 관한 카테고리, 복수의 주제들의 구조(예: 대주제와 소주제들 관계), 주제별 진행 순서, 또는 상기 회의가 정기적 회의(regular meeting)인지 여부를 포함할 수 있다.
또 다른 일부 실시 예들에서, 상기 사전 정보는, 회의의 유형(type)에 관한 정보를 포함할 수 있다. 예를 들어, 상기 회의의 유형에 관한 정보는, 상기 회의가 공통된 의제를 가지고 다자간 의견을 공유하는 토론(discussion) 형태(format)인지, 정보 제공 및 질의(query)를 통한 보고/발표(report/presentation) 형태인지, 또는 특정 질문에 대답을 요하는 면접(interview) 형태인지 여부를 나타낼 수 있다.
또 다른 일부 실시 예들에서, 상기 사전 정보는, 회의가 진행되는 장소에 관한 정보를 포함할 수 있다. 예를 들어, 상기 장소에 관한 정보는, 회의가 원격으로 진행되는지 여부, 상기 회의에 참석하는 사용자들 각각의 전자 장치 구비 여부, 상기 사용자들 각각의 절대적인 위치에 관한 정보, 상기 사용자들 각각이 위치한 장소의 환경에 대한 정보(예: 방의 크기, 조명 밝기 제어 가부)를 포함할 수 있다.
상기 사전 정보는, 이전 패턴에 관한 정보를 포함할 수 있다. 상기 전자 장치 401은, 후술되는 550 동작 이후, 동작 510을 수행하는 경우, 상기 이전 패턴에 관한 정보를 이용할 수 있다. 상기 이전 패턴에 관한 정보는, 현재 사이클에서의 결정을 위한, 훈련 데이터(training data)일 수 있다. 상기 이전 패턴에 관한 정보는, 도 5에서의 동작 510 내지 550 반복 동작 중 이전 사이클에서, 결정된 패턴들에 대한 정보를 포함할 수 있다. 예를 들어, 상기 이전 패턴에 관한 정보는, 이전 주제에 대해 상기 제1 사용자 411에게 제공되었던 발언 시간을 포함할 수 있다. 다른 예를 들어, 상기 이전 패턴에 관한 정보는, 이전 사이클에서, 특정 주제에 할당되었던 참가자별 발언 순서를 포함할 수 있다.
상기 사전 정보는, 패턴에 대한 초기 정보를 포함할 수 있다. 상기 도 5의 반복 동작을 수행하지 않았거나 현재 전제 조건들이 이전보다 상대적으로 많이 변경된 경우, 상기 전자 장치 401은, 초기 정보를 사전 정보로 이용할 수 있다. 일부 실시 예들에서, 상기 초기 정보는 실험실(laboratory)에서의 실험(experiment)의 반복 또는 시뮬레이션(simulation)의 반복을 통해 획득되는 통계로부터 결정될 수 있다. 다른 일부 실시 예들에서, 상기 초기 정보는 랜덤 변수들(random variables)로부터 결정될 수 있다. 이러한 경우, 상기 전자 장치 401은, 510 내지 550 동작이 일정 횟수 이상 반복되는 경우부터 결정되는 패턴의 확률(예: 신뢰도)을 증가시킬 수 있다.
상기 정보는 상기 회의 환경 400으로부터 반복적으로 획득되는 수집 정보를 포함할 수 있다. 일부 실시 예들에서, 상기 수집 정보는 소리 정보일 수 있다. 예를 들어, 상기 소리 정보는, 특정 참가자의 음성 신호를 포함할 수 있다. 상기 소리 정보는, 상기 음성 신호의 세기(음파의 진폭)에 대한 데이터, 상기 음성 신호의 높낮이(음파의 진동수)에 대한 데이터, 상기 음성 신호의 모양(음파의 맵시)에 대한 데이터를 포함할 수 있다. 전자 장치 401은, 상기 소리 정보를 특정(specific) 시간 동안 수집할 수 있다. 상기 특정 시간은, 해당 참가자의 발언 시간에 따라 적응적으로 결정될 수 있다. 상기 전자 장치 401은, 소리 정보로부터 참가자의 발언 속도(speaking speed)를 결정할 수도 있다.
다른 일부 실시 예들에서, 상기 수집 정보는 영상 정보일 수 있다. 예를 들어, 상기 영상 정보는, 사용자가 포함된 이미지 또는 사용자가 포함되는 영상을 포함할 수 있다. 상기 사용자가 포함된 이미지는, 상기 사용자의 신체 부위 중 얼굴의 일부(예: 눈, 입, 미간, 코)를 포함할 수 있다. 상기 사용자가 포함되는 영상은, 상기 사용자의 움직임, 제스쳐를 포함할 수 있다. 다른 예를 들어, 상기 영상 정보는, 사용자가 위치한 장소에 대한 이미지를 포함할 수 있다. 상기 장소에 대한 이미지는, 상기 사용자가 위치하는 공간의 크기, 상기 사용자와 밀접한 위치에 있는 사람의 수 등에 대한 정보를 포함할 수 있다. 또 다른 예를 들어, 상기 영상 정보는 참고를 위해, 상기 사용자로부터 제공되는 정보에 대한 이미지를 포함할 수도 있다. 상기 사용자가 제공하는 정보는, 상기 사용자가 회의를 위해 준비한 회의 자료를 포함할 수 있다.
또 다른 일부 실시 예들에서, 상기 수집 정보는 환경 정보일 수 있다. 예를 들어, 상기 환경 정보는, 참가자가 위치한 장소의 온도에 대한 데이터, 밝기에 대한 데이터, 또는 습도에 대한 데이터 중 적어도 하나를 포함할 수 있다. 다른 예를 들어, 상기 환경 정보는, 상기 참가자가 위치한 장소의 절대적인 위치에 대한 정보를 포함할 수 있다. 또 다른 예를 들어, 상기 환경 정보는, 상기 참가자가 위치한 장소의 밀도에 대한 정보를 포함할 수 있다. 여기서, 밀도는, 회의 진행을 위한 영역(area)와 실제 참가자 수의 비(ratio) 또는 상기 영역의 적정 인원수와 실제 참가자 수의 비로 정의될 수 있다. 또 다른 예를 들어, 상기 환경 정보는, 상기 참가자의 절대적인 시각에 대한 정보, 회의가 진행되는 날짜에 대한 정보, 상기 참가자가 위치한 지역에서의 지역시(local time)에 대한 정보 또는 요일에 대한 정보 중 적어도 하나를 포함할 수 있다.
회의에 참여하는 참가자들 중 적어도 일부가 독립한(spearte) 장소에 위치되는 경우, 전자 장치 401은 장소 별로, 환경 정보를 수집할 수 있다. 반면, 하나의 장소에 참가자들이 하나의 장소에 위치되는 경우, 상기 전자 장치 401은 하나의 장소에 대한 환경 정보를 수집할 수 있다.
520 동작에서, 전자 장치 401은, 획득된 정보에 기반하여, 판단을 수행할 수 있다. 여기서, 판단은 주관적인 인식을 객관적으로 추정하기 위한 판단일 수 있다. 예를 들어, 상기 전자 장치 401은, 상기 획득된 정보에 기반하여, 참가자를 식별하는 판단, 참가자의 특성(characteristic)을 결정하는 판단, 참가자의 감정을 결정하는 판단, 또는 참가자의 의도를 인식하는 판단을 수행할 수 있다. 이하, 각 판단의 처리 동작을 구체적으로 설명한다.
상기 전자 장치 401은, 상기 획득된 정보에 기반하여, 참가자를 식별할 수 있다. 일부 실시 예들에서, 상기 획득된 정보는 소리 정보일 수 있다. 예를 들어, 상기 전자 장치 401은, 상기 소리 정보에 포함된 음파의 모양, 즉, 소리의 맵시를 통하여, 특정 참가자를 판단할 수 있다. 이 때, 상기 전자 장치 401은, 이전 사이클에서 학습된 상기 참가자에 대한 음파의 모양을 이용하거나, 미리 설정된 정보를 이용할 수 있다. 다른 예를 들어, 상기 전자 장치 401은, 상기 소리 정보에 포함된 언어 사용 패턴(language usage pattern)으로부터, 특정 참가자를 식별할 수 있다. 구체적으로, 상기 전자 장치 401은, 상기 소리 정보를 텍스트로 변환할 수 있다. 상기 전자 장치 401은, 변환된 텍스트로부터 자연어 인식 동작을 통해, 상기 텍스트를 문장 단위로 구분하고, 상기 문장 단위를 단어 단위로 구분할 수 있다. 상기 전자 장치 401은, 이전 사이클에서 학습된 특정 참가자의 문장 단위 및 단어 단위들과, 현재 사이클에서 획득한 소리 정보의 문장 단위 및 단어 단위들을 비교하여, 언어의 사용 패턴들 간의 차이를 검출한다. 상기 전자 장치 401은, 상기 검출되는 차이값이 임계값 이하인 경우, 상기 특정 참가자를 상기 소리 정보의 출처로 식별할 수 있다.
다른 일부 실시 예들에서, 상기 획득된 정보는 영상 정보일 수 있다. 예를 들어, 상기 전자 장치 401은, 상기 영상 정보에 포함된 참가자의 이미지를 획득하여, 특정 참가자를 판단할 수 있다. 이 때, 상기 전자 장치 401은, 이전 사이클에서 학습된 상기 특정 참가자의 외관, 형태, 모습을 이용하거나, 미리 설정된 정보를 이용할 수 있다. 또 다른 일부 실시 예들에서, 상기 획득된 정보는 사전 정보일 수 있다. 상기 전자 장치 401은, 상기 사전 정보에 포함된 참가자의 식별 정보(예: 이름, 닉네임, ID)를 획득하거나, 상기 참가자가 이용하는 전자 장치의 ID를 획득하여, 특정 사용자를 인식할 수 있다. 예를 들어, 상기 전자 장치 401은, 제3 사용자 413의 발언 시간에, 제3 전자 장치 423의 마이크로부터 입력되는 음성 신호를 획득하는 경우, 해당 음성 신호가 제3 사용자 413의 음성임을 판단하여, 상기 제3 사용자 413을 식별할 수 있다.
상기 전자 장치 401은, 상기 획득된 정보에 기반하여, 참가자의 특성을 결정할 수 있다. 상기 전자 장치 401은, 참가자의 특성의 판단을 위해, 특성에 대한 유형들(예: 발언 속도, 발언 성향, 표정 변화)을 미리 설정할 수 있다. 또한, 상기 전자 장치 401은, 특정 유형에서 복수의 레벨들을 설정할 수 있다.
일부 실시 예들에서, 상기 전자 장치 401은 상기 소리 정보에 포함된 음성 신호로부터 제3 사용자 413의 음성을 획득할 수 있다. 상기 전자 장치 401은, 상기 제3 사용자 413의 음성의 속도를 결정할 수 있다. 상기 속도는, 발언 속도, 음성 속도, 말 속도, 또는 말 빠르기 등으로 지칭될 수 있다. 여기서 발언 속도는, 상기 전자 장치 401 내에서 다양한 방식으로 정의될 수 있다. 구체적인 방식은 도 8의 설명에서 후술한다. 상기 전자 장치 401은, 상기 제3 사용자 413의 발언 속도를 측정하고, 대응하는 속도 레벨을 결정할 수 있다. 상기 전자 장치 401은, 510 내지 550 동작의 반복을 통하여, 발언 속도를 결정할 수 있다. 예를 들어, 상기 전자 장치 401은, 평균적으로 획득되는 상기 제3 사용자 413의 발언 속도가 '7'인 경우, 상기 제3 사용자 413의 특성으로서, '7'의 크기를 가지는 발언 속도를 설정할 수 있다.
다른 일부 실시 예들에서, 상기 전자 장치 401은 상기 소리 정보로부터 제1 사용자 411의 음성을 획득할 수 있다. 상기 전자 장치 401은, 자동 음성 인식(ASR)을 통해, 상기 획득되는 제1 사용자 411의 음성으로부터 구체적인 내용을 인식할 수 있다. 상기 전자 장치 401은 상기 인식된 내용으로부터 사투리(dialect)가 포함되는지 여부를 검출할 수 있다. 상기 전자 장치 401은, 상기 검출되는 사투리로부터 상기 제1 사용자 411의 언어 습관(예: 억양, 어조)에 대한 패턴을 저장하고, 저장된 패턴을 상기 제1 사용자 411의 특성으로 설정할 수 있다.
상기 전자 장치 401은, 상기 획득된 정보에 기반하여, 사용자의 감정을 판단할 수 있다. 상기 전자 장치 401은, 감정의 판단을 위해, 감정에 대한 유형들(예: 불쾌함, 선호도, 피곤함)을 미리 설정할 수 있다. 상기 유형들 각각은 특정 유형에서 복수의 레벨들(예: 불쾌함 정도 1 내지 8)을 가질 수 있다.
일부 실시 예들에서, 상기 획득된 정보는, 소리 정보일 수 있다. 예를 들어, 상기 전자 장치 401은 상기 소리 정보로부터 제2 사용자 412의 음성을 획득할 수 있다. 상기 전자 장치 401은, 상기 제2 사용자 412의 음성의 크기를 결정할 수 있다. 상기 전자 장치 401은, 상기 제2 사용자 412의 음성의 크기가 기준값보다 큰 경우, 상기 제2 사용자 412가 흥분 상태에 있다고 결정할 수 있다. 여기서, 기준값은 이전 사이클을 통해 학습된 상기 제2 사용자 412의 음성의 크기를 대표하는 값이거나, 일반적인 사람의 음성의 크기의 평균값일 수 있다. 상기 전자 장치 401은, 참가자의 흥분에 대한 감정 레벨을 높일 수 있다. 다른 예로, 상기 전자 장치 401은, 상기 제3 사용자 413의 발언 속도가 기준 속도보다 빠른 경우, 상기 제3 사용자 413이 흥분 상태에 있다고 결정할 수 있다. 여기서, 기준 속도는 이전 사이클을 통해 학습된 상기 제3 사용자 413의 특성으로 설정된 발언 속도 값이거나, 일반적인 사람의 발언의 속도의 평균값일 수 있다. 상기 제2 사용자 412와 마찬가지로, 상기 전자 장치 401은 상기 제3 사용자 413의 흥분에 대한 감정 레벨을 높일 수 있다.
다른 일부 실시 예들에서, 상기 획득된 정보는 영상 정보일 수 있다. 예를 들어, 상기 전자 장치 401은, 상기 영상 정보로부터 제1 사용자 411이 포함된 이미지를 획득할 수 있다. 상기 전자 장치 401은, 상기 이미지에 포함된 사용자 제1 사용자 411의 신체 부위 중 상기 제1 사용자 411의 미간에 해당하는 부위를 식별할 수 있다. 상기 전자 장치 401은, 상기 식별된 미간 부분을 기준 이미지와 비교할 수 있다. 여기서, 기준 이미지는 이전에 획득된 상기 제1 사용자 411이 포함된 이미지이거나, 일반적인 사람의 미간에 대한 이미지일 수 있다. 상기 전자 장치 401은, 상기 미간 부분의 변화가 임계값 이상이라고 판단하는 경우, 상기 전자 장치 401은, 상기 제1 사용자 411이 상기 영상 정보 수집 당시 발언 중인 사용자 또는 상기 영상 정보 수집 당시 논의되던 주제를 선호하지 않는다고 결정할 수 있다. 상기 전자 장치 401은, 특정 사용자 또는 특정 주제의 선호도에 대한 감정 레벨을 낮출 수 있다.
상기 전자 장치 401은, 상기 이미지에 포함된 제2 사용자 412의 부위 중 상기 제2 사용자 412의 동공에 대응하는 부위를 식별할 수도 있다. 상기 전자 장치 401은, 상기 동공의 크기를 기준 크기과 비교할 수 있다. 상기 기준 크기는, 일반적인 사람의 동공 크기일 수 있다. 식별된 동공의 크기가 임계값 이상이라고 판단하는 경우, 상기 전자 장치 401은, 상기 제2 사용자 412가 상기 영상 정보 수집 당시 발언 중인 사용자 또는 상기 영상 정보 수집 당시 논의되던 주제를 선호한다고 결정할 수 있다. 상기 전자 장치 401은, 특정 사용자 또는 특정 주제의 선호도에 대한 감정 레벨을 높일 수 있다.
또 다른 일부 실시 예들에서, 상기 획득된 정보는 환경 정보일 수 있다. 예를 들어, 상기 전자 장치 401은 상기 환경 정보로부터 회의가 진행되는 장소(이하, 회의 장소)의 온도가 일정 레벨 이상이라고 결정할 수 있다. 상기 일정 레벨은, 임의의 사용자가 불편함을 느끼지 않도록 설정되는 온도값을 포함하는 레벨(예: 저 레벨(low level), 중간 레벨(medium level), 고레벨(high level) 중 중간 레벨)일 수 있다. 상기 전자 장치 401은, 상기 회의 장소의 온도가 일정 레벨 이상(예: 고레벨)인 경우, 상기 회의 장소에 위치한 적어도 하나의 사용자가 불쾌함을 느끼고 있다고 결정할 수 있다. 이에 대응하여, 상기 전자 장치 401은, 사용자들 각각의 불쾌함에 대한 감정 레벨을 높일 수 있다.
상기 전자 장치 401은, 상기 획득된 정보에 기반하여, 참가자의 의도(intention)를 판단할 수 있다. 상기 전자 장치 401은, 의도의 정확한 판단을 위해, 의도에 대한 유형을 미리 설정할 수 있다. 예를 들어, 상기 의도는, 다른 사용자에게 발언권을 부여 요청, 다른 사용자로부터의 발언권 획득 요청, 발언 시간의 연장 요청, 해당 주제에 대한 발언 종료 알림(조기 종료), 일정 시간 동안 회의 중지 요청, 정보 제공, 정보 요청, 또는 발언 순서 변경의 요청 중 적어도 하나를 포함할 수 있다.
일부 실시 예들에서, 상기 획득된 정보는 소리 정보일 수 있다. 예를 들어, 상기 전자 장치 401은, 상기 소리 정보의 스펙트럼(sound spectrum)을 분석할 수 있다. 상기 전자 장치 401은, 상기 분석으로, 제2 사용자 412의 음성 신호를 식별할 수 있다. 상기 전자 장치 401은, 상기 제2 사용자 412의 음성 신호로부터, 자연어 인식을 통하여, 단어를 식별할 수 있다. 상기 전자 장치 401은, 상기 식별된 단어로부터 상기 제2 사용자 412의 의도를 파악할 수 있다. 일 예로, 상기 전자 장치 401은, 상기 제2 사용자 412의 음성 신호로부터 자연어 "존(john), 네가 대답해줘"를 획득할 수 있다. 상기 전자 장치 401은, 상기 획득한 자연어로부터 '존', '네가', 및 '대답해줘' 를 각각 식별하고, 이로부터 '존'에 대응하는 다른 사용자(예: 제3 사용자 413)에게 대답을 요청하는 의도임을 판단할 수 있다. 다른 일 예로, 상기 전자 장치 401은, 상기 제2 사용자 412의 음성 신호로부터 자연어 "하계 휴가에 대해 논의하자"를 획득할 수 있다. 상기 전자 장치 401은, 상기 획득한 자연어로부터 '하계 휴가'를 식별할 수 있다. 상기 전자 장치 401은, 상기 식별된 단어로부터, 상기 제2 사용자 412가 말하고자 하는 주제를 결정할 수 있다. 이 때, 상기 전자 장치 401은 미리 설정된 복수의 카테고리들 중에서, '하계 휴가'와 관련된 카테고리(예: 휴가)를 식별할 수 있다. 다른 예를 들어, 상기 전자 장치 401은, 상기 제1 사용자 411의 지정된 발언 시간 내 상기 제1 사용자 411의 음성이 검출되지 않은 경우, 발언을 종료하고자 하는 상기 제1 사용자 411의 의도를 파악할 수 있다. 상기 전자 장치 401은, 상기 제1 사용자 411의 발언 기회를 지정된 발언 시간보다 빨리 종료할 것을 판단할 수 있다.
다른 일부 실시 예들에서, 상기 획득된 정보는 영상 정보일 수 있다. 예를 들어, 상기 전자 장치 401은 상기 영상 정보로부터 제3 사용자 413의 제스처를 획득할 수 있다. 상기 제3 사용자 413의 제스처는, 상기 전자 장치 401에 특정 기능을 수행하도록 미리 저장된 제스처일 수 있다. 상기 전자 장치 401은, 상기 제3 사용자 413의 제스처를 획득하고, 미리 저장된 정보들 중 획득된 제스처에 대응하는 기능을 식별할 수 있다. 상기 전자 장치 401은, 상기 제3 사용자 413이 상기 식별된 기능을 수행하고자 하는 의도임을 판단할 수 있다.
도 5 및 520 동작에서는, 판단들 각각이 병렬적, 독립적으로 수행되는 것으로 도시 및 서술하였으나, 이에 한정되지 않는다. 특정 판단이 다른 판단의 전제로써 이용될 수 있다. 즉, 사용자의 의도에 대한 판단이 사용자의 감정에 대한 판단에 필요한 정보로 이용되거나, 사용자의 감정에 대한 판단이 사용자의 특성에 대한 판단으로 이용될 수도 있다. 520 동작 내에서, 다수의 판단 동작들이 포함될 수 있고, 다수의 판단 동작들이 계층(layer)을 이룰 수 있다. 예로, 3번의 판단 동작이 수행되는 경우, 3개의 계층이 형성될 수 있다. 계층의 수는 깊이(depth)로 지칭될 수 있다. 예를 들어, 하나의 판단 동작에 있어, 3번의 판단 동작이 선행되는 경우, 총 4번의 판단 동작이 수행되는 바, 깊이는 4일 수 있다. 깊이가 깊을수록, 많은 판단 동작이 수행되어 연산 복잡도가 증가하나, 판단에 대한 정확도는 증가할 수 있다.
한편, 상기 510 동작에서 획득되는 소리 정보에 참가자의 음성 신호가 포함되는 경우, 입력되는 신호의 길이가 고정적이지 않고 가변적일 수 있다. 음성 신호는 발언 시간에 따라 그 길이가 다르기 때문이다. 이에 따라, 상기 전자 장치 401은, 순환 신경망 알고리즘(RNN)을 사용할 수 있다. 상기 전자 장치 401은, 재귀적인 판단을 수행함으로써, 가변적인 입력인, 자연어 처리 또는 음성 인식을 효율적으로 수행할 수 있다. 520 동작 내에서, 다수의 판단 동작들이 포함될 수 있고, 다수의 판단 동작들 각각은 재귀적 구조를 포함할 수 있다. 재귀적인 층이 많을 수록 연산 복잡도가 증가하나, 판단에 대한 정확도는 증가할 수 있다.
530 동작에서, 전자 장치 401은, 수행된 판단에 기반하여, 패턴을 결정할 수 있다. 상기 패턴을 결정하는 동작은, 상기 전자 장치 401내 패턴 채택 모듈(pattern adapter)에 의해 수행 수 있다. 상기 패턴은 회의를 진행하기 위한 패턴(이하, 회의 패턴)이거나 회의를 종료하기 위한 패턴(이하, 종료 패턴)일 수 있다. 상기 종료 패턴은 540 동작에서 구체적으로 후술한다.
상기 회의 패턴은, 회의를 진행하기 위한 자원의 이용 방법일 수 있다. 일부 실시 예들에서, 상기 회의를 진행하기 위한 자원은 시간 자원일 수 있다.
예를 들어, 상기 전자 장치 401은, 전체 회의 시간을 결정할 수 있다. 상기 전자 장치 401은, 참가자들의 발언 속도(speaking speed)에 기반하여 전체 회의 시간을 결정할 수 있다. 이전 회의에 참석한 참가자들 평균 발언 속도가 할당된 10분 동안 '5'이고, 현재 회의에 참석한 참가자들 평균 발언 속도가 '10'인 경우, 상기 전자 장치 401은 현재 회의의 전체 회의 시간을 5분으로 결정할 수 있다.
다른 예를 들어, 상기 전자 장치 401은, 특정 주제에 대한 회의 시간을 결정할 수 있다. 상기 전자 장치 401은, 참가자들의 선호도에 기반하여 회의 시간을 결정할 수 있다. 상기 참가자들의 선호도가, 제1 주제와 제2 주제 중 상대적으로 제2 주제에 대해 높은 경우, 전체 회의 시간 10분 중에서 3분은 상기 제1 주제, 7분은 상기 제2 주제에 대한 회의 시간으로 결정할 수 있다.
또 다른 예를 들어, 상기 전자 장치 401은, 회의의 주제들에 대한 순서를 결정할 수 있다. 상기 전자 장치 401은, 참가자들의 감정 레벨에 기반하여, 회의의 주제들에 대한 순서를 결정할 수 있다. 상기 전자 장치 401은 복수의 주제들 중 상기 참가자들의 피곤함에 대한 감정 레벨이 상대적으로 높게 판단되는 주제의 순서를 적응적으로 변경할 수 있다.
또 다른 예를 들어, 상기 전자 장치 401은, 참가자 별 발언 시간을 결정할 수도 있다. 상기 전자 장치 401은, 참가자들 각각의 발언 속도에 기반하여, 참가자 별 발언 시간을 결정할 수 있다. 일 예로, 제1 사용자 411, 제2 사용자 412, 및 제3 사용자 413 각각의 발언 속도가 각각 '1', '2', '3'인 경우, 상기 전자 장치 401은, 발언 속도에 반비례 하여, 상기 제1 사용자 411, 상기 제2 사용자 412, 및 상기 제3 사용자 413 각각에게 발언 시간을 '6분', '3분', '2분'으로 할당할 수 있다.
또 다른 예를 들어, 상기 전자 장치 401은, 참가자 별 발언 순서를 결정할 수 있다. 상기 전자 장치 401은, 특정 참가자의 음성 신호에 기반하여, 발언 순서를 결정할 수 있다. 상기 전자 장치 401은, 제1 사용자 411의 음성 신호로부터 자연어를 식별하고 이해할 수 있다. 상기 전자 장치 401은 상기 획득한 자연어로부터 다음 참가자인 제2 사용자 412를 지칭하는 정보(예: 제2 사용자 412의 이름)를 획득할 수 있다. 상기 전자 장치 401은, 발언 순서를 제1 사용자 411, 제2 사용자 412 순으로 결정할 수 있다.
또 다른 예를 들어, 상기 전자 장치 401은, 참가자 별 우선 순위를 결정할 수 있다. 상기 전자 장치 401은, 소리 정보, 영상 정보 또는 사전 정보로부터 참가자들 중 회의 진행자인 제1 사용자 411을 식별할 수 있다. 상기 전자 장치 411은 상기 제1 사용자 411에게 다른 참가자들 대비 우선권을 부여할 수 있다. 상기 전자 장치 401은, 제1 사용자 411과 제2 사용자 412 간 발언이 중첩되는 경우, 상기 제1 사용자 411에게 우선적으로 발언권을 부여할 수 있다. 상기 전자 장치 401은, 상기 제1 사용자 411의 발언이 종료된 경우 상기 제2 사용자 412에게 발언권을 부여할 수 있다. 구체적으로, 상기 전자 장치 401은, 상기 제1 사용자 411의 발언이 종료된 경우, 상기 제2 전자 장치 422의 마이크를 오프(OFF) 상태에서 온(ON) 상태로 변경할 수 있다.
다른 일부 실시 예들에서, 상기 회의를 진행하기 위한 자원은 정보 자원일 수 있다. 상기 전자 장치 401은, 상기 정보 자원을 음성으로 참가자들에게 제공하거나 영상으로 참가자들 각각의 전자 장치에게 제공할 수 있다. 상기 정보 자원은 다양한 정보를 포함할 수 있다. 예를 들어, 상기 정보 자원은 요약 정보를 포함할 수 있다. 상기 전자 장치 401은, 520 동작에서 조기 종료를 판단한 경우, 잔여 시간 동안, 해당 주제에 대한 요약 정보를 참가자들 각각의 전자 장치에 제공하도록 결정할 수 있다. 다른 예를 들어, 상기 정보는 발언 중인 사용자에게 제공할 잔여 시간 정보를 포함할 수 있다. 또 다른 예를 들어, 상기 정보 자원은, 현재 발언중인 참가자와 발언 중이지 않은 참가자를 구분하는 정보를 포함할 수 있다. 또 다른 예를 들어, 상기 정보 자원은, 참가자들 각각의 발언 순서에 관한 정보를 포함할 수도 있다.
또 다른 일부 실시 예들에서, 상기 회의를 진행하기 위한 자원은 상황 자원일 수 있다. 여기서, 상황 자원은 밝기를 포함할 수 있다. 예를 들어, 상기 전자 장치가 401이 밝기를 적응적으로 제어할 수 있는 환경(예: 스마트 빌딩(smart building))에서 회의를 진행한다고 가정하자. 상기 전자 장치 401은, 520 단계에서 참가자들이 현재 밝기에 대해 불편함을 느끼는 것으로 판단한 경우(예: 미간의 변화), 회의 장소의 조명을 제어하여 밝기를 감소시킬 수 있다. 다른 예를 들어, 상황 자원은 온도를 포함할 수 있다. 상기 전자 장치 401은, 520 단계에서, 참가자들이 불쾌하다고 판단한 경우(예: 환경 정보에 포함된 온도 레벨), 회의 장소의 에어컨을 제어하여, 회의 장소내 온도를 낮출 수 있다. 또 다른 예를 들어, 상황 자원은 마이크의 볼륨을 포함할 수 있다. 상기 전자 장치 410은, 520 단계에서, 제1 사용자 411의 발언동안, 참가자들이 불편한 것으로 판단한 경우(예: 제1 사용자의 음성의 크기), 상기 제1 전자 장치 421에 내장된 마이크의 볼륨을 하향 조절할 수 있다.
540 동작에서, 전자 장치 401은, 종료 이벤트가 발생하는지 여부를 판단할 수 있다. 일부 실시 예들에서, 상기 전자 장치 401은, 상기 결정한 패턴에 기반하여 종료 이벤트의 발생 여부를 판단할 수 있다. 상기 530 동작에서 결정한 패턴이 회의의 종료를 위한 패턴인 경우, 상기 전자 장치 401은, 회의의 종료 이벤트가 발생했다고 결정할 수 있다. 예를 들어, 상기 전자 장치 401은, 영상 정보로부터 획득되는 회의 진행자의 제스쳐 또는 소리 정보로부터 획득되는 회의 진행자의 코멘트(commnet)가 종료 요청인 경우, 종료 패턴으로 결정할 수 있다. 다른 예를 들어, 상기 전자 장치 401은, 영상 정보로부터 발표자의 일정 시간 이상의 부재(absence)를 검출하는 경우, 종료 패턴으로 결정할 수 있다.
다른 일부 실시 예들에서, 상기 전자 장치 401은, 상기 패턴의 결정과 독립적으로, 종료 이벤트의 발생 여부를 판단할 수도 있다. 예를 들어, 상기 종료 이벤트는 할당된 회의 시간의 만료(expiration)일 수 있다. 상기 전자 장치 401은, 설정된 복수의 회의 주제들에 대하여 할당된 모든 시간이 경과된 경우, 종료 이벤트의 발생을 결정할 수 있다.
상기 전자 장치 401은, 종료 이벤트가 발생한 경우, 도 5의 동작 흐름을 종료할 수 있다. 도 5에서는 540 동작이 530 동작 이후인 것으로 도시하였으나, 이에 한정되지 않는다. 즉, 상기 전자 장치 401은, 530 동작 이후뿐만 아니라, 어느 단계에서라도 종료 이벤트의 발생 여부를 판단할 수 있다. 예를 들어, 상기 전자 장치 401은, 종료를 가리키는 입력을 검출한 경우, 상술한 510 내지 540 동작과 관계없이, 도 5의 동작 흐름을 종료할 수 있다.
550 동작에서, 전자 장치 401은, 패턴을 제공할 수 있다. 상기 패턴을 제공하는 동작은, 상기 전자 장치 401내 회의 중재를 위한 모듈(meeting operator)에 의해 수행될 수 있다. 상기 패턴은, 회의를 진행하기 위한 패턴으로, 상기 530 동작에서 결정한 패턴일 수 있다. 일부 실시 예들에서, 상기 회의 패턴은 발언 시간의 할당일 수 있다. 상기 전자 장치 401은, 결정된 패턴에 따른 발언 시간을 상기 제1 사용자 411, 상기 제2 사용자 412, 및 상기 제3 사용자 413 중 적어도 하나에게 할당할 수 있다. 예를 들어, 상기 제3 사용자 413에게 3분의 발언 시간이 할당될 수 있다. 상기 전자 장치 401은, 획득되는 상기 제3 사용자 413의 음성 신호가 3분을 초과하는 경우, 상기 제3 사용자 413의 발언을 제한(limit)할 수 있다. 상기 전자 장치 401은, 상기 제3 사용자 413에 제공되는 제3 전자 장치 423의 마이크를 오프(OFF)함으로써, 상기 제3 사용자 413의 발언을 제한할 수 있다.
다른 일부 실시 예들에서, 상기 회의 패턴은 발언의 순서일 수 있다. 상기 전자 장치 401은, 결정된 패턴에 따른 발언 순서를 참석자들(예: 제1 사용자 411, 제2 사용자 412, 및 제3 사용자 413) 각각에게 적용할 수 있다. 예를 들어, 상기 전자 장치 401은, 상기 결정된 발언 순서에 따라 순차적으로 제1 전자 장치 421, 제2 전자 장치 422, 및 제3 전자 장치 423의 마이크를 각각 온(ON)하도록 제어할 수 있다.
또 다른 일부 실시 예들에서, 상기 회의 패턴은 부가 정보일 수 있다. 예를 들어, 상기 전자 장치 401은, 부가 정보로서 상기 제1 사용자 411에게 UI를 제공할 수 있다. 상기 전자 장치 401은, 제1 전자 장치 421의 디스플레이 상에 상기 UI를 표시하도록 상기 제1 전자 장치 421을 제어할 수 있다. 상기 UI는 현재 진행 중인 주제에 관한 정보, 진행 예정인 주제에 관한 정보, 현재 발언자(speaker)에 대한 정보, 추후 발언자에 대한 정보, 또는 잔여 발언 시간 중 적어도 하나를 포함할 수 있다. 다른 예를 들어, 상기 전자 장치 401은, 부가 정보로서 상기 제2 사용자 412에게 알림 메시지를 제공할 수 있다. 상기 알림 메세지는, 상기 제2 사용자 412에게 잔여 발언 시간(예: 10초)을 알리기 위한 메시지일 수 있다. 상기 전자 장치 401은, 상기 전자 장치 401과 동작적으로 연결된 스피커를 통해 상기 제2 사용자 412에게 잔여 발언 시간을 알리기 위한 음성 신호를 제공하거나, 상기 제2 사용자 412가 소지한 상기 제2 전자 장치 422를 통해 알림 메시지를 제공할 수도 있다. 상기 제2 전자 장치 422를 통해 알림 메시지가 제공되는 경우, 상기 알림 메시지는, 상술한 UI에 포함되는 형태로 제공되거나, 상기 전자 장치 422에 포함된 램프(lamp)의 형태로 제공될 수 있다. 또 다른 예를 들어, 상기 전자 장치 401은, 부가 정보로서 상기 제3 사용자 413에게 회의 내용에 대한 정보를 제공할 수 있다. 상기 전자 장치 401은, 전자 장치 423의 디스플레이에 UI에 포함되는 형태로, 회의 주제에 관한 자료를 제공할 수 있다. 여기서, 자료는 임의의 사용자로부터 미리 제공되도록 설정된 자료이거나, 상기 전자 장치 401의 자연어 인식 동작을 통해 생성되는 자료일 수 있다.
또 다른 일부 실시 예들에서, 상기 회의 패턴은 휴식 시간일 수 있다. 예를 들어, 상기 전자 장치 401은, 결정된 패턴에 따른 휴식 시간을 참석자들 전원에게 제공할 수 있다. 상기 전자 장치 401은, 휴식 시간을 알리는 자연어를 생성할 수 있다. 구체적으로, 상기 전자 장치 401은, '3분간 휴식 후 회의를 다시 진행하겠습니다'라는 자연어 텍스트를 생성할 수 있다. 상기 전자 장치 401은, 상기 생성된 텍스트를 음성 신호로 변환(TTS)하여, 상기 음성 신호를 참가자들 전원에게 전달할 수 있다. 상기 전자 장치 401은, 제1 주제와 제2 주제 사이에 휴식 시간으로 1분을 결정한 경우, 제1 주제에 대한 마지막 발언자의 발언이 종료된 때, 1분 동안 모든 참석자들의 발언을 제한할 수 있다. 상기 전자 장치 401은, 상기 1분이 경과한 후, 제2 주제에 대한 첫 발언자의 전자 장치의 마이크를 온(On)하도록 제어할 수 있다.
520 동작에서 정보를 통하여 판단을 수행하거나, 530 동작에서 판단된 결과를 통해 패턴을 결정함에 있어서, 하나의 요소(factor)로부터 하나의 결과(result)가 결정되는 것으로 서술하였으나, 설명의 편의를 위한 것일 뿐, 이에 한정되지 않는다. 즉, 하나의 정보가 다수의 판단에 이용되거나 하나의 판단이 다수의 패턴을 결정하는데에 이용될 수 있고, 다수의 정보가 하나의 판단에 이용되거나, 다수의 판단이 하나의 패턴을 결정하는데 이용될 수도 있다. 예를 들어, 사용자를 판단하는 경우, 사용자의 음성 신호 뿐만 아니라 영상 정보, 환경 정보, 사용자가 사용하는 전자 장치의 ID 정보 들이 종합적으로 이용될 수 있다. 상기 전자 장치 401은, 상기 사용자를 판단하는 데 이용가능한 정보 각각에 대한 확률(probability) 또는 가중치(weight)를 이용하여, 상기 사용자를 판단할 수 있다.
전자 장치 401은, 510 내지 550 동작을 반복하여 수행할 수 있다. 1회의 반복을 사이클이라고 지칭할 수 있다. 상기 전자 장치 401은, 임의로 상기 사이클의 시점과 종점을 설정할 수 있다. 상기 전자 장치 401은, 판단하고자 하는 대상 및 결정하고자 하는 패턴 중 적어도 하나에 따라 상기 사이클을 다르게 설정할 수 있다. 예를 들어, 상기 전자 장치 401은, 특정 주제에 관한 사용자의 선호도를 판단하고자 하는 경우, 상기 사이클을 하나의 주제의 시작 시점부터 종료 시점 사이의 인터벌(interval)로, 설정할 수 있다. 다른 예를 들어, 참가자 별 발언 시간을 결정하고자 하는 경우, 상기 전자 장치 401은, 상기 사이클을 특정 참가자의 발언 속도를 측정하기 위해 정의되는 단위 시간으로 설정할 수 있다.
도 5에는 도시되지 않았으나, 상기 전자 장치 401은 수집된 정보에 기반하여 결정되는 패턴을 제공할 때 마다 수집된 정보, 판단, 및 제공되는 패턴에 관한 학습 정보(learning information)를 저장할 수 있다. 상기 전자 장치 401은, 상기 학습 정보를 상기 전자 장치 401의 저장부(예: 저장부 230)에 저장하거나, 외부 장치(예: 서버 106)에 저장할 수 있다. 상기 학습 정보를 상기 외부 장치에 저장하는 경우, 상기 전자 장치 401은, 상기 학습 정보를 상기 외부 장치에게 송신하기 위한 동작을 수행할 수 있다.
상기 전자 장치 401은, 기계 학습(machine learning)과 같이, 상기 학습 동작의 반복을 통하여, 복수의 회의 패턴들에 대한 모델(model)을 설계하고, 상기 복수의 회의 패턴들 각각에 대한 확률 또는 가중치, 및 이에 기반한 결정론적 방법을 사용하여 판단을 수행할 수 있다. 상기 확률은, 특정 사건에 대한 사전 확률(prior probability)이거나 특정 사건 전제시 발생하는 사건에 대한 사후 확률(posterior probability)일 수 있다. 상기 도 5의 흐름 동작은, 획득되는 정보에 대한 학습 동작으로 지칭될 수 있다. 상기 전자 장치 401은 510 내지 550의 학습 동작의 반복을 통하여, 판단에 대한 오차를 최소화하는 확률 또는 가중치 값을 획득할 수 있다. 여기서, 각 판단은, 신경망 모델에서 은닉층(hidden layer)의 노드 또는 출력층(output layer)의 노드에 대응할 수 있다. 특정 판단의 선행되는 판단의 횟수는, 상기 은닉층의 깊이에 대응할 수 있다.
상기 전자 장치 401은, 반복 횟수가 증가할 수록, 보다 정확하게 사용자의 식별, 사용자의 특성, 사용자의 감정 또는 사용자의 의사에 대한 판단을 제공할 수 있다. 이하, 확률 또는 가중치에 기반한 판단 및 결정 동작은, 도 6 내지 도 7에서 구체적으로 서술된다.
도 6은 본 개시의 다양한 실시 예들에 따른 판단 동작의 예를 도시한다. 상기 판단 동작은, 상기 도 5의 520 동작에 대응할 수 있다. 상기 판단 동작은, 다수의 판단 동작을 포함할 수 있다. 다시 말하면, 도 6에 도시된 판단 동작은 획득되는 정보로부터 1회의 판단만을 수행하는 것이 아니라, 수행된 판단으로부터 다시 수행되는 동작을 포함할 수 있다. 이와 같이, 기수행된 판단으로부터 다른 판단을 수행하는 동작의 횟수는, 상기 도 5의 상기 520 동작에서 기술한 깊이로 지칭될 수 있다. 이하, 도 6에서는 참석자의 발언 속도의 변화를 판단하고, 발언 속도의 변화에 따라 다수의 판단을 수행하는 상기 전자 장치 401의 동작을 설명한다.
도 6을 참고하면, 상기 전자 장치 401은, N회의 사이클 610 동안, 제1 사용자 411 및 제2 사용자 412의 발언 속도를 측정할 수 있다. 여기서, 상기 전자 장치 401은, 제1 사용자 411 및 제2 사용자 412 각각의 발언 속도를 모두 '5'로 측정하였음을 가정한다. 상기 전자 장치 401은, N회의 사이클 610 동안 상기 도 5의 510 내지 550의 반복 동작을 통해, 상기 제1 사용자 411의 발언 속도에 대한 특성을 '5'로 설정할 수 있다. 상기 N회의 사이클 동안 진행된 회의의 주제는 제1 주제일 수 있다.
N+1번째 사이클 620에서, 상기 전자 장치 401은 상기 제1 사용자 411 및 상기 제2 사용자 412의 발언 속도를 측정할 수 있다. 상기 전자 장치 401은, 상기 제1 사용자 411의 발언 속도를 '7'로 결정하고, 상기 제2 사용자 412의 발언 속도를 '5'로 결정할 수 있다. N+1번째 사이클 620 동안, 회의의 주제는 제2 주제일 수 있다. 상기 전자 장치 401은, N회의 사이클 610동안 상기 제1 사용자 411의 특성으로서 판단된(제1 판단) 상기 제1 사용자 411의 발언 속도와, N+1번째 사이클 620에서 상기 제1 사용자 411으로부터 획득되는 음성 신호로부터 측정되는 상기 제1 사용자 411의 발언 속도를 비교할 수 있다. 상기 제1 사용자 411의 발언 속도는, N회의 사이클 610 동안의 학습을 통해 저장된 사전 정보일 수 있다.
상기 전자 장치 411은 상기 비교 결과로부터, 상기 발언 속도가 증가했음을 결정할 수 있다. 상기 전자 장치 411은, 상기 발언 속도의 증가에 따른 상기 제1 사용자 411의 감정, 상기 제1 사용자 411의 특성, 상기 제1 사용자 411의 환경, 및 상기 제1 사용자 411의 의도에 대한 변화를 판단(제2 판단)할 수 있다. 예를 들어, 상기 전자 장치 401은, 상기 발언 속도의 증가로부터, 상기 제1 사용자 411의 감정이 고조되었음을 판단할 수 있다(판단 A). 다른 예를 들어, 상기 전자 장치 401은, 상기 발언 속도의 증가로부터, 상기 제1 사용자 411이 제2 주제에 대해 더 많은 지식을 알고 있다고 판단할 수 있다. 다시 말해, 상기 제1 사용자 411의 상기 제2 주제에 대한 선호도가 제1 주제보다 높다고 판단할 수 있다(판단 B). 또 다른 예를 들어, 상기 전자 장치 401은, 원래 제1 사용자 411의 발언 속도가 '7'이고, 이전에 학습되어 설정된 발언 속도가 '5'가 잘못된 설정이라고 판단할 수 있다(판단 C). 또 다른 예를 들어, 상기 전자 장치 401은, 상기 제1 사용자 411이 조기 종료를 통하여, 휴식 시간을 확보하기 위한 의도가 있다고 판단할 수도 있다(판단 D).
상기 전자 장치 401은, 상기 4가지 판단에 대한 확률을 산출할 수 있다. 예를 들어, 상기 전자 장치 401은 각각 판단 A에 대한 확률은 10 %, 판단 B에 대한 확률은 80%, 판단 C에 대한 확률은 6%, 및 상기 판단 D에 대한 확률은 4%로 결정할 수 있다. 여기서 확률은, 통계적 정보에 기반한 사전 확률이거나, 특정 사건을 선행 사건으로 하는 사후 확률일 수 있다.
일부 실시 예들에서, 상기 전자 장치 401은, 복수의 판단들(예: 판단 A, 판단 B, 판단 C, 및 판단 D) 각각의 확률에 기반하여, 패턴을 제공하기 위한 판단을 수행할 수 있다. 예를 들어, 상기 전자 장치 401은 상기 확률에 기반하여, 상기 제1 사용자 411의 특성 중 발언 속도에 대한 특성을 설정할 수 있다. 상기 전자 장치 401은, 상기 발언 속도의 증가 원인을, 확률이 가장 높은 판단 B로 결정할 수 있다. 다시 말해, 상기 전자 장치 401은, 상기 제1 사용자 411이 상기 제2 주제에 대한 선호도가 높아 상기 발언 속도가 증가했다고 판단할 수 있다. 상기 전자 장치 401은, 상기 제1 사용자 411이 발언 속도에 대한 특성을, 상기 제2 주제에 한해 '7'로 설정할 수 있다.
다른 일부 실시 예들에서, 상기 전자 장치 401은 상기 복수의 판단들 각각의 가중치에 기반하여, 다른 판단을 위한 벡터를 생성할 수 있다. 상기 가중치는 확률에 기반한 값일 수 있다. 상기 벡터는 확률 벡터로 지칭될 수 있다. 예를 들어, 상기 전자 장치 401은, 벡터 (0.1, 0.8, 0.06, 0.04)을 생성할 수 있다. 벡터의 각 성분은 상기 복수의 판단들 각각의 확률을 가중치로 환산한 값이다. 상기 벡터는 상기 제1 사용자 411, 상기 제2 주제에 관한 발언 속도의 벡터일 수 있다. 상기 전자 장치 401은, 추후 수집되는 정보들로부터 사이클마다 벡터들을 반복적으로 생성할 수 있다. 상기 전자 장치 401은 사이클마다, 사이클마다 벡터들을 생성할 수 있고, 상기 벡터들이 생성될 때마다, 상기 벡터를 지속적으로 갱신할 수 있다. 상기 전자 장치 401은, 실제 결과와의 오차를 최소화하는 방향으로, 상기 벡터를 지속적으로 갱신할 수 있다. 상기 전자 장치 401은, 상기 벡터 중 가장 큰 값을 갖는 벡터 성분을 선택하거나, 임계값(예: 0.95)을 초과하는 벡터의 성분을 결정함으로써, 복수의 판단들 중 특정 판단을 결정할 수 있다. 상기 전자 장치 401은, 결정된 특정 판단에 기반하여, 상기 도 5의 530 동작과 같이, 패턴을 제공할 수 있다.
상기 전자 장치 401은, 상기 제2 주제에 관한 N+k번째 사이클 630 동안 참가자들에게 제공할 패턴을 결정할 수 있다. 이전 학습 동작에서, 상기 전자 장치 401은, 상기 제2 주제에 대한 상기 제1 사용자 411이 발언 속도를 '7'로 설정했다고 가정하자. 이에 따라, 상기 전자 장치 401은, N+k번째 사이클 630동안, 상기 제1 사용자 411에게 전체 시간(예: 12분) 중 '5'(예: 5분), 상기 제2 사용자 421에게 전체 시간 중 '7'(예: 7분)을 할당할 수 있다.
상기 N+k번째 사이클 630 동안, 상기 전자 장치 401은, 제1 사용자 411 및 제2 사용자 412 각각의 발언 속도를 모두 '5'로 측정할 수 있다. 상기 전자 장치 401은, 상기 판단 B와 달리, 제2 주제에 대해서도 상기 제1 사용자 511의 발언 속도가 '5'임을 결정할 수 있다. 상기 전자 장치 401은, 상기 제1 사용자 411의 특성인, 발언 속도 '7'과 다른 결과가 결정되었음을 인식할 수 있다. 상기 전자 장치 401은, 상기 N+k번째 사이클 630 동안 획득되는 정보들(예: 상기 제1 사용자 411의 소리 정보)에 기반하여, 상기 복수의 판단들 각각의 확률 또는 가중치를 변경할 수 있다. 구체적으로, 상기 전자 장치 401은 판단 B의 확률을 낮추고, 판단 C의 확률을 높일 수 있다. 다른 추가적인 변인이 존재하는 경우, 상기 전자 장치 401은, 이러한 추가적인 변인을 고려하여 판단 A 내지 판단 D의 확률을 조정할 수 있다.
상술한 바와 같이, 획득되는 정보로부터의 참가자 의도의 판단(판단 B), 참가자의 특성에 대한 판단으로부터 참가자의 감정에 대한 판단(예: 판단 A), 참가자의 특성에 대한 판단으로부터 참가자의 특성에 대한 판단(판단 B, C), 사용자의 특성에 대한 판단으로부터 참가자 의도에 대한 판단(판단 D)는, 하나의 사건으로부터 도출된다. 다시 말해, 하나의 사건이 다수의 판단들 각각의 선택 가능성에 영향을 미칠 수 있고, 하나의 판단이 다수의 패턴을 결정하는데 영향을 미칠 수도 있다. 이하, 도 7에서는, 적어도 하나의 판단으로부터 적어도 하나의 판단을 수행하는 동작 및 다수의 판단들로부터 패턴을 결정하는 동작에 대해 구체적인 예를 들어 서술한다.
도 7은 본 개시의 다양한 실시 예들에 따른 패턴을 결정하기 위한 요소(fact or)들의 예를 도시한다. 이하 도 7에서는 설명의 편의를 위하여, 패턴을 결정하기 위한 요소로써, 참가자의 특성, 참가자의 의도, 참가자의 감정, 및 참가자의 환경을 판단을 위한 요소로 설명하나, 이에 한정되지 않는다. 즉, 상기 4가지 판단 요소 외에, 추가적인 판단 요소 또는 상기 4가지보다 적은 요소의 판단 요소가 패턴을 결정하는데 이용될 수 있다. 상기 복수의 요소들은, 참가자의 상태(state)로 지칭될 수 있다. 또한, 설명의 편의를 위하여, 패턴의 예로 참가자의 발언 시간을 설명하나, 이에 한정되지 않는다. 상기 패턴은, 전체 회의 시간, 발언 순서, 또는 부가 정보의 제공일 수 있다.
도 7을 참고하면, 참가자의 발언 시간을 결정하기 위하여, 복수의 요소들에 대한 판단이 요구될 수 있다. 상기 복수의 요소들은, 참가자의 특성 710, 참가자의 의도 720, 참가자의 감정 730, 및 참가자의 환경 740을 포함할 수 있다.
상기 참가자의 특성 710은, 예를 들어, 참가자의 언어 습관, 발언 속도, 선호하는 주제, 싫어하는 주제, 특정 주제에 대한 지식 이해도, 또는 다른 참가자와의 관계 중 적어도 하나를 포함할 수 있다.
상기 참가자의 의도 720은, 예를 들어, 발언 시간 연장에 대한 요청, 발언권의 획득 요청, 다른 참가자에게 발언권을 넘기는 요청, 회의에 참가하기 위한 요청, 발언을 종료하기 위한 요청, 정보 제공의 요청, 발언 순서의 변경 요청 중 적어도 하나를 포함할 수 있다.
상기 참가자의 감정 730은, 예를 들어, 기쁨, 놀람, 피곤함, 불쾌함, 평온함, 지루함 등을 포함할 수 있다. 여기서, 전자 장치 401은, 상기 참가자의 감정 730 판단시, 각 감정에 대한 복수의 레벨을 설정하고, 복수의 레벨들 중 하나로 식별하거나, 복수의 감정들 각각에 대한 확률을 이용하여 식별할 수 있다(예: 기쁨 80, 피곤함 15, 슬픔 4, 불쾌함 1).
상기 참가자의 환경 740은, 예를 들어, 상기 참가자가 위치한 회의실 내의 온도, 습도, 밀도(예: 회의실 영역 내 사용자 수), 상기 회의실 내 조명 밝기, 상기 참가자가 위치한 지역의 날씨, 스피커의 크기가 적절한 지 여부, 상기 참가자가 위치한 지역의 시간, 회의 진행 날짜 또는 시각 중 적어도 하나를 포함할 수 있다. 상기 참가자의 환경 740은, 환경 정보로부터 기계적인 연산동작을 통해 도출될 수도 있다(예: 스피커의 볼륨이 임계값 이상).
전자 장치 401은, 상기 도 5의 동작 510에서 획득되는 정보로부터 복수의 요소들 중 하나의 요소를 결정하거나, 다른 요소들로부터 하나의 요소를 결정할 수 있다. 예를 들어, 상기 전자 장치 401은, 상기 참가자의 감정 730을 평온한 상태라고 판단하고, 상기 참가자의 의도 720이 단순한 정보 전달의 의도라고 판단할 수 있다. 상기 전자 장치 401은, 획득되는 소리 정보로부터 참가자를 식별하고, 참가자의 발언 속도를 측정할 수 있다. 상기 전자 장치 401은, 상기 식별된 참가자의 상태를 사용자의 감정의 변동이 없는, 일반적인 상태라고 판단할 수 있는 바, 상기 측정 결과를, 상기 참가자의 특성 710에 반영할 수 있다. 이 때, 상기 참가자의 특성 710을 판단하기 위하여, 상기 참가자의 의도 720, 가중치 721, 상기 참가자의 감정 730, 및 가중치 731이 사용될 수 있다.
한편, 상기 전자 장치 401은, 상기 하나의 요소로부터 다른 요소를 결정할 수도 있다. 예를 들어, 상기 참가자의 발언 속도가 설정된 특성보다 빠르고, 상기 참가자가 위치한 회의실의 인구 밀도가 기준보다 높은 경우, 상기 전자 장치 401은, 상기 참가자의 감정 730이 흥분된 상태라고 판단할 수 있다. 상기 참가자의 감정 730을 판단하기 위하여, 상기 참가자의 특성 710 중 발언 속도, 가중치 713, 상기 참가자의 환경 740, 및 가중치 743이 사용될 수 있다. 다른 예를 들어, 상기 제2 주제에 대한 참가자의 선호도가 매우 낮고, 상기 참가자의 의도로 조기 종료의 요청이 판단된 경우, 상기 전자 장치 401은, 상기 참가자의 감정 730이 피곤한 상태라고 판단할 수도 있다. 상기 참가자의 감정 730을 판단하기 위하여, 상기 참가자의 특성 710 중 주제에 대한 선호도, 가중치 713, 상기 참가자의 의도 720, 및 가중치 723이 사용될 수 있다.
다시 말하면, 상기 전자 장치 401은, 상기 복수의 요소들을 판단함에 있어, 선후 관계를 특정하지 않고, 반복적인 판단을 수행할 수 있다. 이 때, 판단되는 대상, 상기 대상을 판단하기 위한 요소 내 성분에 따라, 각각 다른 가중치 값이 적용될 수 있다.
상기 전자 장치 401은, 상기 패턴 750을 결정하기 위하여, 참가자의 특성 710에 관한 제1 설정값을 결정할 수 있다. 예를 들어, 상기 전자 장치 401은, 발언 속도에 대한 측정값으로부터 제1 설정값을 결정할 수 있다. 여기서, 상기 제1 설정값은 상기 측정값과 반비례 관계일 수 있다. 상기 제1 설정값은, 상기 패턴 750으로 참가자의 발언 시간을 결정하기 위한 파라미터 값일 수 있다.
상기 전자 장치 401은, 상기 패턴 750을 결정하기 위하여, 참가자의 의도 720에 관한 제2 설정값을 결정할 수 있다. 예를 들어, 상기 제2 설정값은 발언 시간의 연장 요청 횟수 및 연장 시간, 또는 발언 종료 요청에 관한 횟수 및 잔여 시간에 기반하여 결정될 수 있다. 상기 전자 장치 401은, 반복되는 사이클 동안, 발언 시간의 연장 요청 횟수 또는 발언 종료에 대한 요청 횟수에 기반한 확률적 분포를 산출할 수 있다. 상기 전자 장치 401은, 참가자가 연장 요청 또는 종료 요청을 수행할 것으로 예상되는 횟수에 대응하는 기대값(예: 연장 요청 확률 x 연장 시간 + 종료 요청 확률 x 조기 종료 시간)으로부터 제2 설정값을 결정할 수 있다. 상기 제2 설정값은, 상기 패턴 750으로, 참가자의 발언 시간을 결정하기 위한 파라미터 값일 수 있다.
상기 전자 장치 401은 상기 패턴 750을 결정하기 위하여, 참가자의 감정 730에 대응하는 제3 설정값을 결정할 수 있다. 예를 들어, 상기 제3 설정값은, 상기 참자가의 흥분에 대한 감정 레벨에 대응할 수 있다. 여기서, 상기 제3 설정값은 상기 측정값과 반비례 관계일 수 있다. 상기 제3 설정값은, 상기 패턴 750으로 발언 시간을 결정하기 위한 파라미터 값일 수 있다.
상기 전자 장치 401은 상기 패턴 750을 결정하기 위하여, 참가자의 환경 740에 대응하는 제4 설정값을 포함할 수 있다. 예를 들어, 상기 제4 설정값은, 회의실의 예약 시간에 대응할 수 있다. 상기 전자 장치 401은, 상기 참가자가 발언 가능한 시간 및 순서, 상기 참가자가 참석하는 주제의 전체 회의 시간의 정보를 나타내는 제4 설정값을 결정할 수 있다. 상기 제4 설정값은, 상기 패턴 750으로 발언 시간을 결정하기 위한 파라미터 값일 수 있다.
상기 전자 장치 401은, 상기 제1 설정값, 상기 제2 설정값, 상기 제3 설정값, 및 상기 제4 설정값 각각에게 제1 가중치 α, 제2 가중치 β, 제3 가중치 γ, 및 제4 가중치 δ를 적용하여, 정량화 정보를 생성할 수 있다. 상기 가중치들 값은, 결정하고자 하는 패턴의 유형에 따라 다른 가중치가 적용될 수 있다. 예를 들어, 상기 가중치 값들은, 발언 시간을 결정하는 것인지 또는 발언 순서를 결정하는 것인지에 따라 달라질 수 있다. 상기 가중치들은, 상기 도 5의 510 내지 550 동작의 반복을 통하여, 판단의 오차를 최소화 시키도록, 갱신될 수 있다. 일부 실시 예들에서, 반복적인 학습을 통해, 상기 가중치들을 최적화하기 위한 방법으로서, 경사 하강법(gradient method) 또는 오류역전파법(back propagation)이 사용될 수 있다.
상기 전자 장치 401은, 상기 생성한 정량화 정보에 기반하여 상기 패턴 750을 결정할 수 있다. 도 7에는 도시되지 않았으나, 상기 전자 장치 401은, 상기 참가자 외에 다른 참가자의 정량화된 정보를 함께 이용하여, 상기 참가자 및 상기 다른 참가자 각각에게 할당되는 발언 시간을 결정할 수 있다. 예를 들어, 전체 회의 시간이 20분으로 할당되고, 상기 참가자의 정량화 정보는, '3'을 가리키고, 상기 다른 참가자의 정량화된 정보는 '1'을 가리키는 경우, 상기 전자 장치 401은, 상기 참가자에게는 15분의 발언 시간을, 상기 다른 참가자에게는 5분의 발언 시간을 할당할 수 있다. 상기 정량화 정보는, 발언 시간을 할당하기 위한 시간 자원과 관련된 파라미터일 수 있다.
전술한 바와 같이, 도 7에 도시된 요소들은, 판단의 선후관계에 있어 정해진 순서가 명확하지 않을 수 있다. 즉, 회의에서의 발언 시간을 결정하기 위해, 참가자의 특성 710, 참가자의 의도 720, 참가자의 감정 730, 및 참가자의 환경 740 중 어느 것을 먼저 판단하고, 다른 것을 나중에 판단하는 것이 특정되지 않을 수 있다. 따라서, 순차적인 알고리즘 동작 대신, 반복적인 학습(예: 기계 학습)을 이용함으로써, 효과적으로 참가자의 발언 시간을 결정할 수 있다. 이하, 도 8에서는 상기 참가자의 특성 중 발언 속도를 중심으로, 발언 시간을 적응적으로 제어하는 전자 장치 401의 동작에 대하여 서술한다.
도 8은 본 개시의 댜앙한 실시 예들에 따른 발언 속도에 따른 적응적 자원 할당의 예를 도시한다. 전자 장치 401은, 참가자의 발언 속도에 따라, 참가자별로 할당되는 자원의 크기를 적응적으로 결정할 수 있다. 이하, 도 8의 설명은, 자원은 시간 자원을 기준으로 설명한다. 시간 자원의 할당은 스케줄링(scheduling) 동작으로 지칭될 수 있다.
도 8을 참고하면, 전자 장치 401은, 제1 회의의 시구간(interval) 810 동안, 제1 사용자 411, 제2 사용자 412, 제3 사용자 413에게 각각 제1 시간 811, 제2 시간 812, 제3 시간 813을 할당할 수 있다. 상기 전자 장치 401은, 상기 시간 810 동안, 상기 제1 회의를 진행할 수 있다. 상기 전자 장치 401은, 참가자들 각각에게 할당된 시구간 동안, 발언권을 부여할 수 있다. 상기 발언권은 순차적으로 부여될 수 있고, 참가자들 간의 턴 방식(turn-taking)에 따라 번갈아가면서 부여될 수 있다. 즉, 도 8의 상기 제1 회의의 시구간(interval) 810은, 할당되는 시간 자원의 총량을 의미하며, 상기 제1 회의의 시구간 810의 가로축은 시간 흐름과 무관함을 유의하여야 한다. 이 때, 상기 제1 회의를 진행하는 동안, 참가자들 각각의 총 발언 시간은, 상기 참가자들 각각에게 할당된 시간(예: 제1 시간 811, 제2 시간 812, 제3 시간 813 등) 내로 제한될 수 있다.
상기 전자 장치 401은, 상기 제1 회의를 진행하는 동안, 제1 사용자 411의 발언 속도를 측정할 수 있다. 상기 전자 장치 401은, 상기 제1 시간 811 동안, 소리 정보에 포함되는 상기 제1 사용자 411의 음성 신호로부터, 자연어 인식을 통해 철자, 음절(syllable), 단어, 및 문장을 인식할 수 있다. 상기 전자 장치 401은, 인식되는 철자, 음절, 단어, 또는 문장으로부터, 발언 속도를 측정할 수 있다.
발언 속도는 다양한 방식으로 정의될 수 있다. 일부 실시 예들에서, 상기 발언 속도는 일정 시간(이하, 시간 유닛(time unit)) 동안, 인식되는 음절의 수로 정의될 수 있다. 상기 전자 장치 401은, 상기 제1 시간 811 동안 획득되는 음성 신호로부터, 인식되는 음절들을 식별하고, 식별되는 음절들의 수를 결정할 수 있다.
다른 일부 실시 예들에서, 상기 발언 속도는 시간 유닛동안, 인식되는 단어의 수로 정의될 수 있다. 상기 단어의 수는 상기 제1 주제와 관련된 키워드(keyword) 집합(set) 중 상기 제1 시간 811 동안 획득되는 음성 신호로부터 인식되는 단어들의 수일 수 있다. 즉, 상기 전자 장치 401은, 상기 시간 유닛 당 키워드의 수로 발언 속도를 정의하고 이를 측정함으로써, 참가자의 해당 주제에 대한 이해도(understanding) 또는 집중도(concentration)를 결정하기 위한 지표로, 상기 발언 속도를 이용할 수 있다.
상기 전자 장치 401은, 특정 주제와 관련된 키워드 집합을 생성할 수 있다. 구체적으로, 상기 전자 장치 401은, 상기 도 5의 510 내지 550 동작을 반복하면서, 특정 주제에 대한 회의 진행시 획득되는 음성 신호들에 포함되는 단어들 중 적어도 하나를, 상기 특정 주제와 관련된 키워드 집합에 포함시킬 수 있다. 예를 들어, 상기 전자 장치 401은, 상대적으로 많이 사용되는 단어, 큰 음성의 세기로 사용되는 단어, 목적어로 사용되는 단어, 추출되는 특징점(keypoint)의 수가 많은 단어 등을 상기 특정 주제와 관련된 키워드 집합에 포함시킬 수 있다.
또 다른 일부 실시 예들에서, 상기 발언 속도는 시간 유닛동안, 인식되는 문장의 수로 정의될 수 있다. 상기 전자 장치 401은, 상기 제1 시간 811 동안 획득되는 음성 신호로부터 자연어 인식을 통해, 문장의 수를 식별할 수 있다. 상기 전자 장치 401은, 상기 인식되는 자연어로부터 사용되는 동사, 품사들을 구분하여 문장의 수를 식별할 수 있다. 일반적으로 하나의 문장이 하나 이상의 정보를 포함하는 것이 자명할 수 있다. 상기 전자 장치 401은, 시간 유닛 당 문장의 수로 발언 속도를 정의하고 이를 측정함으로써, 참가자의 해당 주제에 대한 정보량을 결정하기 위한 지표(metric)로, 상기 발언 속도를 이용할 수 있다.
또 다른 일부 실시 예들에서, 상기 발언 속도는 일정 수의 문장 당 키워드의 수로 정의될 수도 있다. 여기서 키워드는, 전술한 실시 예에서와 같이, 특정 주제와 관련된 키워드 집합에 포함되는 단어를 의미할 수 있다. 상기 전자 장치 401은, 임의의 시간 유닛을 설정하는 것이 아니라, 일정 수의 문장 당 키워드의 수로 정의함으로써, 상기 발언 속도를 실제 말의 빠르기와 상관없이, 참가자의 해당 주제에 대한 이해도를 결정하기 위한 지표로 사용할 수 있다. 여기서, 일정 수의 문장은 유효 시간(effective interval)으로 지칭할 수 있다.
상기 전자 장치 401은, 상기 제1 사용자 411의 발언 속도를 측정하는 것과 같은 방식으로, 상기 제1 회의를 진행하는 동안, 제2 사용자 412의 발언 속도 및 제3 사용자 413의 발언 속도를 측정할 수 있다. 상기 전자 장치 401은, 상기 제1 사용자 411의 발언 속도를 '7', 상기 제2 사용자 412의 발언 속도를 '3', 상기 제3 사용자 413의 발언 속도를 '5'로 결정할 수 있다. 상기 제1 사용자 411의 경우 다른 참가자들보다 발언 속도가 빠르므로, 상기 제1 사용자 411의 발언은 조기 종료될 수 있다. 구체적으로, 상기 전자 장치 401은, 상기 제1 사용자 411에게 할당된 시간 811 중, 시간 843 동안만 상기 제1 사용자 411의 음성 신호를 획득하고, 시간 846 동안 상기 제1 사용자 411의 음성 신호를 획득하지 못할 수 있다. 여기서 시간 846은 잔여 시간(remaining time) 또는 잔여 발언 시간(remaining speaking time)으로 지칭될 수 있다. 상기 전자 장치 401은, 잔여 시간의 존재를 감지한 경우, 상기 잔여 시간을 다양한 방식으로 사용할 수 있다. 일부 실시 예들에서, 상기 전자 장치 401은, 상기 잔여 시간을 다른 참가자들에게 분배할 수 있다. 이 때, 분배의 방식은 참가자별로 동일하게 분배하는 균등 분배(even distribution)이거나 다른 참가자들에게 할당된 시간에 비례하여 분해하는 형평 분배(equity distribution)일 수 있다. 다른 일부 실시 예들에서, 상기 전자 장치 401은, 상기 잔여 시간을 모든 참가자들에게 휴식 시간으로 제공할 수 있다. 상기 전자 장치 401은, 참가자들 각각의 감정 레벨, 특성, 및 환경에 기반하여, 상기 잔여 시간 동안 휴식 시간을 제공할 것인지 여부를 결정할 수 있다. 한편, 상기 제2 사용자 412의 경우, 발언 속도가 느리므로, 상기 제2 사용자 412의 발언은 할당된 시간 812를 초과할 수 있다. 상기 전자 장치 401은, 상기 제2 사용자 412에게 할당된 시간을 초과하여 수행되는 시간 853에서의 발언은 차단할 수 있다. 구체적으로, 상기 전자 장치 401은, 시간 853 동안 제2 전자 장치 422의 마이크를 오프(OFF)시킬 수 있다.
전자 장치 401은, 상기 제1 사용자 411의 특성으로, 발언 속도를 '7'을 결정할 수 있다. 상기 전자 장치 401은, 상기 제2 사용자 412의 특성으로, 발언 속도를 '3'을 결정할 수 있다. 상기 전자 장치 401은, 상기 제3 사용자 413의 특성으로, 발언 속도를 '5'를 결정할 수 있다.
상기 전자 장치 401은, 제2 회의를 진행하기 위하여, 참가자들에게 할당할 자원을 결정할 수 있다. 상기 전자 장치 401은, 상기 제2 회의를 진행하기 위해, 참가자들 각각의 특성을 이용할 수 있다. 상기 전자 장치 401은, 제1 회의에서 결정한 참가자들 각각의 특성에 기반하여, 상기 제2 회의의 시구간 820 동안, 상기 제1 사용자 411, 상기 제2 사용자 412, 및 상기 제3 사용자 413에게 각각 제1 시간 821, 제2 시간 822, 제3 시간 823을 할당할 수 있다. 구체적으로, 상기 전자 장치 401은, 참가자의 특성으로서, 참가자들 각각의 발언 속도에 반비례하여, 상기 제1 시간 821, 상기 제2 시간 822, 상기 제3 시간 823을 할당할 수 있다, 예를 들어, 상기 제1 시간 821, 상기 제2 시간 822, 상기 제3 시간 823의 비율은 '15 : 35 : 21(1/7 : 1/3 : 1/5)'일 수 있다.
상술한 바와 같이, 상기 전자 장치 401은, 참가자별 개인화된 특성을 이용함으로써, 참가자들에게 발생할 수 있는 불균형(unbalance)을 해소하도록 회의 패턴을 제공할 수 있다.
도 8에서는, 제1 회의의 전체 시구간에 대하여 시간 자원을 할당한 뒤, 제2 회의의 전체 시구간에 대해 시간 자원을 적응적으로 할당하는 것으로 도시하였으나, 하나의 회의 내에서도, 할당되는 자원은 적응적으로 조절될 수 있다. 예를 들어, 상기 제1 사용자 411의 발언 속도가, 상기 제1 사용자 411의 특성으로 설정된 발언 속도보다 빠르게 측정되는 경우, 상기 전자 장치 401은, 임의의 사이클을 설정하여 매 발언이 종료된 다음, 참가자들 각각에게 할당되는 자원을 적응적으로 조절할 수 있다. 다른 일부 실시 예에서, 상기 제2 사용자 412의 발언 속도가, 상기 제2 사용자 412의 특성으로 설정된 발언 속도보다 느리게 측정되는 경우, 상기 전자 장치 401은, 임의의 사이클을 설정하여, 잔여 시간에 할당되는 자원을 상기 제2 사용자 412에게 제공할 수도 있다.
도 8에서는, 자원으로 시간 자원만을 예로 들어 설명하나, 발언 속도에 따라 정보 자원 또는 상황 자원을 참가자에게 제공할 수 있다. 예를 들어, 상기 전자 장치 401은, 발언 속도가 상대적으로 빠른 참가자에게, 현재 발언 속도에 대한 알림을 제공할 수도 있다.
도 9는 본 개시의 다양한 실시 예들에 따른 발언 중첩시 발언권 부여의 흐름도를 도시한다.
도 9를 참고하면, 910 동작에서, 전자 장치 401은, 발언의 중첩 여부를 판단할 수 있다. 상기 전자 장치 401은, 일정 시구간(예: 5초) 동안 적어도 둘 이상의 참가자들 각각의 음성 신호가 포함되는 경우, 발언의 중첩이 발생했다고 결정할 수 있다. 예를 들어, 상기 전자 장치 401은, 상기 일정 시구간에 수신되는 음성 신호들의 음파 모양이 적어도 2개 이상 중첩됨을 검출한 경우, 발언의 중첩이 발생했다고 결정할 수 있다. 다른 예를 들어, 상기 전자 장치 401은, 상기 일정 시구간에 2개 이상의 마이크에서 참가자의 음성 신호가 입력되는 경우, 발언의 중첩이 발생했다고 결정할 수 있다. 또 다른 예를 들어, 상기 전자 장치 401은, 자연어 인식을 통해, 일정 시간 동안 2개 이상의 문장을 획득하는 경우, 발언의 중첩이 발생했다고 결정할 수도 있다. 여기서, 한 참가자의 음성 신호는, 조정된 회의 패턴 대비 예기치 않은(unexpected) 신호일 수 있다. 상기 전자 장치 401이, 발언의 중첩 여부가 발생하지 않는다고 결정하는 경우, 도 9의 동작 흐름은 종료된다.
920 동작에서, 상기 전자 장치 401은, 중첩시, 적어도 둘 이상의 참가자들을 식별할 수 있다. 일부 실시 예들에서, 상기 전자 장치 401은, 제1 전자 장치 421과 제3 전자 장치 423이 상기 일정 시구간 동안 음성 신호가 입력됨을 결정할 수 있다. 예를 들어, 상기 전자 장치 401은, 상기 제1 전자 장치 421의 ID와 상기 제2 전자 장치 422의 ID로부터, 상기 식별된 참가자가 제1 사용자 411과 제3 사용자 413이라고 결정할 수 있다.
다른 일부 실시 예들에서, 상기 전자 장치 401은, 자연어 인식을 통해, 서로 다른 2개 이상의 언어 사용 패턴(예: 사투리, 관용어구, 문장의 길이)을 식별할 수 있다. 상기 전자 장치 401은, 이전에 학습된 언어 사용 패턴으로부터, 상기 식별된 언어 사용 패턴에 대응하는 참가자를 결정할 수 있다. 구체적으로, 상기 전자 장치 401은, 이전에 학습된 특정 참가자의 문장 단위 또는 단어 단위의 언어 사용 패턴과, 상기 식별된 언어 사용 패턴을 비교할 수 있다. 일 예로, 문장 단위의 언어 사용 패턴은, 하나의 문장에 포함되는 동사의 수, 단어와 단어 사이의 간격, 문장의 길이를 포함할 수 있다. 다른 예로, 상기 단어 단위의 언어 사용 패턴은, 단어의 음절의 수, 단어와 단어 사이의 연관성, 단어들 중 특정 주제와 관련된 키워드의 비율을 포함할 수 있다.
또 다른 일부 실시 예들에서, 상기 전자 장치 401은, 소리 정보로부터, 적어도 2개 이상의 다른 모양을 갖는 성분을 식별할 수 있다. 상기 전자 장치 401은, 참가자의 음성 신호 각각이 갖는 고유의 음파 모양에 기반하여, 획득되는 소리 정보로부터, 적어도 2개 이상의 음파들을 식별할 수 있다. 상기 전자 장치 401은, 사전 정보(예: 음의 높낮이, 맵시, 크기) 또는 이전 사이클에서 학습한 정보에 기반하여, 상기 적어도 2개 이상의 음파들을 상기 적어도 둘 이상의 참가자들 각각에 맵핑하여, 상기 적어도 둘 이상의 참가자들을 각각 식별할 수 있다.
930 동작에서, 상기 전자 장치 401은, 상기 식별된 적어도 둘 이상의 참가자들 각각의 우선 순위를 결정할 수 있다.
일부 실시 예들에서, 상기 전자 장치 401은, 참가자의 역할에 따라, 우선 순위를 결정할 수 있다. 상기 전자 장치 401은, 상기 식별된 적어도 둘 이상의 참가자들 각각의 역할을 식별할 수 있다. 상기 전자 장치 401은, 미리 설정된 사용자 정보 또는 음성 신호의 자연어 인식을 통해, 참가자들 각각이, 회의 진행자인지, 발표자인지, 청취자인지 여부를 결정할 수 있다. 예를 들어, 상기 전자 장치 401은, 다른 참가자들로부터 요청되는 질문의 수, 발언 중첩의 횟수, 특정 역할로 정해진 참가자의 운율 체계(prosodic features)로부터, 참가자의 역할을 결정할 수 있다. 상기 전자 장치 401은, 상기 제1 사용자 411이 회의 진행자인 경우, 타 참가자들에 비해 보다 높은 우선 순위를 부여할 수 있다. 상기 전자 장치 401은, 상기 제2 사용자 412가 발표자인 경우, 상기 회의 진행자 다음의 우선 순위를 부여할 수 있다.
다른 일부 실시 예들에서, 상기 전자 장치 401은, 참가자들 각각의 잔여 발언 시간에 따라, 우선 순위를 결정할 수 있다. 토론 형식의 회의에서는, 상대적으로, 많은 발언 시간이 남은 가 먼저 발언하도록 하는 것이, 원활한 회의 진행에 있어 유리할 수 있다. 상기 전자 장치 401은, 제2 사용자 412의 잔여 발언 시간이 제1 사용자 411의 발언 시간 보다 많은 경우, 상기 제2 사용자 412에게 상기 제1 사용자 411보다 높은 우선권을 부여할 수 있다.
또 다른 일부 실시 예들에서, 상기 전자 장치 401은 참가자들 각각의 발언 속도에 따라 우선 순위를 결정할 수 있다. 상기 발언 속도는 도 8에서 정의되는 발언 속도일 수 있다. 발언 속도가 빠른 참가자의 경우, 상대적으로 많은 양의 정보를 전달할 수 있는 바, 후속하는 참가자의 발언에 효과적일 수 있다. 또한, 발언 속도가 빠를수록 기회의 측면에서, 동일한 시간 내 모든 사용자들에게 효율적으로 정보 제공이 가능할 수 있다. 상기 전자 장치 401은, 상기 제1 사용자 411의 발언 속도가 상기 제2 사용자 412의 발언 속도보다 빠른 경우, 상기 제1 사용자 411에게 우선권을 부여할 수 있다.
또 다른 일부 실시 예들에서, 상기 전자 장치 401은, 미리 설정된 우선권 정보에 기반하여, 상기 참가자들 각각의 우선 순위를 결정할 수도 있다. 여기서, 미리 설정된 우선권 정보는, 미리 정해진 회의 유형에 따라 설정되는 참가자들의 우선 순위이거나, 참가자간 정해지는 규칙일 수 있다(예: 제1 사용자 411 > 제2 사용자 412 > 제3 사용자 413, 제3 사용자 413 > 제1 사용자 411).
940 동작에서, 상기 전자 장치 401은, 상기 결정된 우선 순위에 따라 상기 식별된 적어도 둘 이상의 참가자들 각각에게 발언권을 부여할 수 있다. 상기 전자 장치 401은, 상대적으로 높은 우선권이 부여된 참가자(예: 제1 사용자 411)에게 발언권을 우선적으로 부여할 수 있다. 상기 전자 장치 401은, 높은 우선권을 갖는 참가자의 발언이 종료된 경우, 다음 우선 순위의 우선권을 갖는 참가자에게 발언권을 부여할 수 있다. 상기 전자 장치 401은, 930 동작에서 결정한 우선 순위대로, 참가자들 각각에게 발언 기회를 부여한다.
도 9에는 도시되지 않았으나, 상기 전자 장치 401은 임의의 입력에 따라 발언 순서를 변경할 수 있다. 예를 들어, 제1 사용자 411의 우선 순위가 제2 사용자 412의 우선 순위보다 높은 상황을 가정한다. 상기 전자 장치 401은, 우선적으로 상기 제1 사용자 411에게 발언권을 부여할 수 있다. 이 때, 상기 전자 장치 401은, 상기 제1 사용자 411의 음성 신호를 인식할 수 있다. 상기 전자 장치 401은, 상기 음성 신호로부터 자연어 "먼저 말씀하세요"를 인식할 수 있다. 상기 전자 장치 401은, 상기 인식된 자연어로부터 상기 제1 사용자 411의 의도가 다른 참가자에게 발언권을 넘기는 의도임을 판단할 수 있다. 상기 전자 장치 401은, 상기 판단에 기반하여, 상기 제2 사용자 412에게 발언권을 상기 제1 사용자 411보다 먼저 부여할 수 있다.
상기 전자 장치 401은, 중첩된 모든 참가자의 발언이 종료된 경우, 도 9의 동작 흐름을 종료할 수 있다.
도 10은 본 개시의 다양한 실시 예들에 따른 주제에 따른 적응적 자원 할당의 예를 도시한다. 이하, 상기 자원은 시간 자원으로서, 발언 시간 또는 발언 순서를 설명한다. 그러나, 시간 자원뿐만 아니라, 정보 자원, 상황 자원이 주제에 따라 적응적으로 할당될 수 있음은 물론이다.
도 10을 참고하면, 상기 전자 장치 401은, 제1 사용자 411, 제2 사용자 412, 및 제3 사용자 413에게 제1 주제에 대하여 제1 시구간 1010, 제2 주제에 대하여 제2 시구간 1020, 제3 주제에 대하여 제3 시구간 1030의 자원을 할당할 수 있다. 상기 제1 주제, 상기 제2 주제, 및 상기 제3 주제에 대한 회의는 사이클 1001 동안 순차적으로 진행될 수 있다. 상기 전자 장치 401은, 상기 제1 사이클 1001 동안, 참가자들 각각의 소리 정보, 영상 정보, 또는 환경 정보를 획득할 수 있다. 또한, 상기 전자 장치 401은, 상기 제1 사이클 1001 동안, 참가자들 모두에 대한 사전 정보를 획득하거나, 상기 참가자들 각각에 대한 사전 정보를 획득할 수도 있다.
상기 전자 장치 401은, 상기 획득되는 정보로부터, 참가자들 전체와 주제별 관련성을 판단할 수 있다. 일부 실시 예들에서, 상기 전자 장치 401은, 참가자들 모두가 제3 주제의 선호도보다 제2 주제의 선호도가 높다고 판단할 수 있다. 상기 참가자들 모두의 주제에 대한 선호도는, 상기 참가자들 각각의 선호도에 대한 감정 레벨로부터 결정될 수 있다. 상기 전자 장치 401은, 선호되는 주제를 먼저 처리함으로써, 효율적인 회의 운영을 고려할 수 있다. 상기 제3 주제에 대한 참가자들의 관심이 상기 제2 주제보다 높다고 판단되는 바, 상기 전자 장치 401은, 상기 제2 주제에 대한 회의보다 상기 제3 주제에 대한 회의를 먼저 진행할 수 있다.
다른 일부 실시 예들에서, 상기 전자 장치 401은, 상기 참가자들의 상기 제3 주제에 대한 이해도가 상기 제2 주제에 대한 이해도보다 높다고 판단할 수 있다. 일 예로, 상기 이해도는, 상기 도 9에서 정의되는 발언 속도를 이용하여, 판단될 수 있다. 상기 전자 장치 201은, 효율적인 회의 진행을 위하여, 상기 제3 주제에 대한 회의를 상기 제2 주제에 대한 회의보다 먼저 진행할 수 있다.
또 다른 일부 실시 예들에서, 상기 전자 장치 401은, 상기 제1 사이클 1001에서 수집되는 정보들에 기반하여, 상기 제3 주제가 상기 제1 주제와 밀접한 관련성이 높다고 결정할 수 있다. 상기 제1 주제와 연관지어 처리하기 위해, 상기 제3 주제에 대한 회의를 상기 제2 주제에 대한 회의보다 먼저 진행할 수 있다. 이와 같이, 상기 전자 장치 401은, 참가자들의 특성, 의사, 감정에 대한 판단에 따라, 상기 제1 사이클 1001에서와 달리, 제2 사이클 1002에서 상기 제3 주제에 대한 회의와 상기 제2 주제에 대한 회의의 순서를 바꿀 수 있다. 상기 전자 장치 401은, 상대적으로 쉽지 않은 제2 주제에 대한 회의를 나중에 진행할 수 있다. 한편, 이와 같은 주제 순서에 대한 결정은, 사전 정보 또는 수동의 입력을 통해, 변경될 수도 있다. 상기 전자 장치 401은, 제2 사이클 1002 동안, 제1 주제, 제3 주제, 및 제2 주제에 대한 회의를 순차적으로 진행할 수 있다.
상기 전자 장치 401은, 사이 제2 사이클 1002 동안, 참가자들 각각의 소리 정보, 영상 정보, 또는 환경 정보를 획득할 수 있다. 또한, 상기 전자 장치 401은, 상기 제2 사이클 1002 동안, 참가자들 모두가 위치한 환경에 대한 사전 정보를 획득하거나, 상기 참가자들 각각에 대한 사전 정보를 획득할 수도 있다. 상기 전자 장치 401은, 상기 획득되는 정보로부터, 참가자들 각각의 주제별 관련성을 판단할 수 있다. 일부 실시 예들에서, 상기 전자 장치 401은, 제3사용자 413이 제2 사용자 412보다, 제3 주제에 대해 높은 이해도를 가지고 있다고 판단할 수 있다. 상기 이해도는 발언 속도로부터 결정될 수 있다. 상기 전자 장치 401은, 제3 사이클 1003에서 높은 이해도를 가진 참가자를 먼저 배치하고, 후속 참가자가 질의하는 형태의 토론을 유도하면서, 상기 제3 사용자 413의 발언 순서를 상기 제2 사용자 412의 발언 순서보다 앞으로 배치하도록 결정할 수 있다.
다른 일부 실시 예들에서, 상기 전자 장치 401은, 상기 제3 주제에서, 상기 제1 사용자 411과 상기 제2 사용자 412의 감정 상태가 서로 우호적이지 않다고 판단할 수 있다. 예를 들어, 상기 전자 장치 401은, 상기 제1 주제에 관한 회의에서, 상기 제1 사용자 411과 상기 제2 사용자 412의 감정 변화가 서로 격해졌다고 결정할 수 있다. 따라서, 후속하는 주제인 상기 제3 주제에 대한 회의에서, 상기 제1 사용자 411의 발언과 상기 제2 사용자 412의 발언 사이에 간격을 두기 위해, 상기 제3 사이클 1003에서 상기 제3 사용자 413의 발언 순서와 상기 제2 사용자 412의 발언 순서를 변경할 수 있다. 다른 예를 들어, 상기 제3 주제에 대해서, 이전 사이클인 상기 제1 사이클 1001 또는 상기 제2 사이클 1002 동안, 상기 제1 사용자 411과 상기 제2 사용자 412의 감정 변화가 서로 격해졌다고 결정할 수 있다. 상기 전자 장치 401은, 상기 제3 주제에 대한 회의에서, 상기 제1 사용자 411의 발언과 상기 제2 사용자 412의 발언 사이에 간격을 두기 위해, 상기 제3 사용자 413의 발언 순서와 상기 제2 사용자 412의 발언 순서를 변경할 수 있다.
도 10에서는, 주제별 순서를 결정한 뒤 주제 내에서 사용자의 순서를 결정하는 것으로 도시하였으나, 본 개시는 이러한 시간적 흐름에 한정되지 않는다. 상기 전자 장치 401은, 주제 내에서 사용자의 순서를 결정한 뒤에, 주제별 순서를 결정할 수도 있다. 또한, 도 10에서는 하나의 사이클이 제1 주제에 대한 회의 시간, 제2 주제에 대한 회의 시간, 제3 주제에 대한 회의 시간을 모두 포함하는 것으로 서술하였으나, 이에 한정되지 않는다. 도 10의 각 사이클은 설명의 편의를 위하여 모든 주제들을 포함하는 시구간으로 설명하였을 뿐 특정 크기의 시구간으로 정해질 수 있다. 예를 들어, 상기 사이클은 주제별로 참석자들에게 할당되는 전체 시간이거나, 특정 주제 내에서 특정 참석자에게 할당되는 시간일 수 있다.
도 11은 본 개시의 다양한 실시 예들에 따른 스마트 빌딩(smart building)의 예를 도시한다. 스마트 빌딩이란, 정보 통신 시스템, 보안 시스템, 사무 자동화, 에너지 관리 시스템 등 다수의 시스템이 유기적으로 통합되어, 하나의 건물에서 경제적이고 효율적인 환경을 제공하는 빌딩이다.
도 11을 참고하면, 스마트 빌딩 1100은, 제1 회의실 1121, 제2 회의실 1122, 및 제3 회의실 1123을 포함할 수 있다. 상기 제1 사용자 1111은 상기 제1 회의실 1121에 위치될 수 있다. 상기 제2 사용자 1112는 상기 제2 회의실 1122에 위치될 수 있다. 상기 제3 사용자 1113은 상기 제3 회의실 1123에 위치될 수 있다. 상기 스마트 빌딩 1100은, 전자 장치 1101을 포함할 수 있다. 상기 전자 장치 1101은, 상기 스마트 빌딩 1100 내의 다른 시스템들(예: 에너지 관리 시스템 1143)과 유기적으로 연결되어, 상기 스마트 빌딩 1000 내의 사용자들에게 효과적인 회의 환경을 제공하기 위한 장치일 수 있다. 상기 전자 장치 1101은 상기 도 4의 장치 401과 동일 또는 유사한 구성을 포함할 수 있다. 상기 전자 장치 1101은, 회의 환경의 제공을 위하여, 상기 제1 회의실 1121, 상기 제2 회의실 1122, 및 상기 제3 회의실 1123과 유선 또는 무선으로 연결될 수 있다.
상기 전자 장치 1101은, 상기 스마트 빌딩 1100에 포함됨으로써, 정보 통신 시스템 1141, 사무 자동화 시스템 1142, 에너지 관리 시스템 1143, 및 보안 시스템 1144을 이용할 수 있다. 다시 말해, 상기 전자 장치 1101은 스크럼 마스터(scrum master)로써, 브레인 스토밍(brainstorming)을 위한 회의 진행자 역할을 수행할 수 있다. 도 11에서는, 상기 스마트 빌딩 1100이 상기 정보 통신 시스템 1141, 상기 사무 자동화 시스템 1142, 상기 에너지 관리 시스템 1143, 및 상기 보안 시스템 1144을 포함하는 것으로 도시하였으나, 상기 정보 통신 시스템 1141, 상기 사무 자동화 시스템 1142, 상기 에너지 관리 시스템 1143, 및 상기 보안 시스템 1144 중 적어도 일부는 상기 스마트 빌딩 1100과 연결되는(connected) 다른 빌딩에 위치될 수도 있다.
상기 전자 장치 1101은, 회의의 주제에 관한 정보를 제공할 수 있다. 상기 전자 장치 1101은, 전기적으로 연결된(electrically connected) 제1 회의실 1121, 제2 회의실 1122, 및 제3 회의실 1123에 포함된 디스플레이를 통하여 영상 정보로, 또는 스피커를 통하여 소리 정보로 진행할 회의의 주제를 전달할 수 있다. 상기 전자 장치 1101은, 제1 사용자 1111의 발언 시, 다른 참가자인 제2 사용자 1112를 모니터링 할 수 있다. 예를 들어, 상기 전자 장치 1101은, 상기 제1 사용자 1111에 대한 상기 제2 사용자 1112의 감정 레벨, 선호도, 의도의 판단을 위하여, 순시적으로(instaneously) 상기 제2 사용자 1112에 대한 영상 정보를 수집할 수 있다.
상기 전자 장치 1101은, 상기 스마트 빌딩 1100에서 수집 가능한 소리 정보, 영상 정보, 및 환경 정보를 순시적으로 획득할 수 있다. 예를 들어, 상기 전자 장치 1001은, 상기 스마트 빌딩 1100에 등록된 사용자, 출입이 허가 된 사용자, 또는 기타 회의를 위해 인증된 사용자의 개인화된 정보를 순시적으로 획득할 수 있다. 상기 전자 장치 1101은, 순시적으로 획득되는 정보를 상기 스마트 빌딩 1100 내 서버 1106에 저장할 수 있다. 상기 서버 1106은 도 11의 도시와 달리, 상기 스마트 빌딩 1100 외부에 위치되어, 상기 전자 장치 1101과 동작적으로 연결될 수도 있다. 상기 전자 장치 1101은, 상기 스마트 빌딩 1100 내 정보 통신 시스템 1141, 사무 자동화 시스템 1142, 에너지 관리 시스템 1143 및 서버 1106를 이용하여, 방대한 양의 정보를 수집, 갱신, 분석 및 저장할 수 있다. 상기 전자 장치 1101은, 스마트 빌딩 1100과 함께 구현되어 다양한 시스템과 결합되어 유기적으로 동작함으로써, 데이터량에 대한 부하를 줄일 수 있다.
일부 실시 예들에서, 상기 전자 장치 1101은, 상기 스마트 빌딩 1100 내의 사용자들 각각에 대한 음성 신호를 획득할 수 있다. 상기 전자 장치 1101은, 설정된 회의를 진행하는 경우뿐만 아니라, 모든 사무적인 업무(office work)와 관련된 회의(예: 면담, 면접, 발표, 평가)에 대해서, 사용자들 각각의 음성 신호를 획득 및 분석할 수 있다. 예를 들어, 상기 전자 장치 1101은, 상기 스마트 빌딩 1100 내의 사용자들 각각의 발언 속도를 일정 주기 동안 측정할 수 있다. 다른 예를 들어, 상기 전자 장치 1101은, 상기 스마트 빌딩 1100 내의 사용자들 각각의 음성 신호에 대한 모양을 반복적으로 분석하여, 특정 사용자를 식별하기 위한 정보(예: 음성 스펙트럼)를 저장할 수 있다
상기 전자 장치 1101은, 획득된 정보에 기반하여 판단을 수행할 수 있다. 상기 전자 장치 1101은, 전술한 바와 같이, 상기 스마트 빌밍 1100 내 모든 정보들을 수집, 분석, 및 저장 가능한 바, 많은 훈련 데이터를 이용할 수 있다. 상기 전자 장치 1101은, 상기 도 6 내지 도 7에서 서술한 바와 같이, 다수의 훈련 데이터들로부터 확률 및 가중치에 기반한 판단, 다수의 판단들 내에서의 반복적인 동작(예: 계층적 판단, 재귀적 판단)을 수행할 수 있다. 상기 전자 장치 1101은, 판단의 오류를 검출하거나 특정 판단을 하기 위해 요구되는 사항이 있는 경우, 즉각적으로 확인할 수 있다. 예를 들어, 상기 전자 장치 1101은, 회의 내 참가자들 외에 스마트 빌딩 1100 내 다른 사용자에 대한 정보가 요구되는 경우, 상기 스마트 빌딩 1100 내의 다양한 구성 요소들(예: 상기 정보 통신 시스템 1141, 상기 사무 자동화 시스템 1142, 상기 서버 1106 등)을 이용하여 상기 요구된 정보를 즉각적으로 획득할 수 있다. 상기 전자 장치 1101은, 발언자의 음성 신호로부터 요구 사항을 파악한 뒤, 상기 다른 사용자가 위치한 장소 내 전자 장치를 통해, 상기 요구 사항을 요청할 수 있다.
상기 전자 장치 1101은, 병렬적 회의 진행 후 통합적인 회의 진행이 요구되는 경우, 전체적인 시간을 효율적으로 할당할 수 있다. 상기 전자 장치 1101은, A 그룹에게 제1 주제에 관한 회의를 진행하도록 제1 회의 환경을 제공할 수 있다. 상기 전자 장치 1101은, B 그룹에게 제2 주제에 관한 회의를 진행하도록 제2 회의 환경을 제공할 수 있다. 여기서, A 그룹과 B 그룹은 별개의 사용자들을 포함할 수 있다. 상기 전자 장치 1101은 상기 제1 주제에 대한 회의 및 상기 제2 주제에 대한 회의가 종료된 경우, 상기 A 그룹 및 상기 B 그룹에게 제3 주제에 대한 회의를 진행하도록 제3 회의 환경을 제공할 수 있다. 상기 전자 장치 1101은, 상기 제1 주제에 대한 회의 진행 시 획득한 상기 A 그룹 사용자들 각각에 대한 특성, 감정, 및 의사 판단의 학습 결과와 상기 제2 주제에 대한 회의 진행 시, 획득한 상기 B 그룹 사용자들 각각에 대한 특성, 감정, 및 의사 판단의 학습 결과를 종합하여, 상기 제3 회의 환경에서의 회의 패턴을 결정할 수 있다.
상기 전자 장치 1101은, 상황 자원을 효율적으로 제어할 수 있다. 일부 실시 예들에서, 상기 전자 장치 1101은, 환경 정보에 포함된 온도값으로부터, 상기 제1 사용자 1111이 상기 제1 회의실 1121에 대해 불편함을 느낀다고 판단할 수 있다. 상기 전자 장치 1101은, 상기 제1 사용자 1111에게 다른 회의실(예: 제2 회의실 1122)을 제공할 수 있다. 다른 일부 실시 예들에서, 상기 전자 장치 1101은, 영상 정보에 포함된 상기 제2 사용자 1112의 표정 변화로부터, 상기 제2 사용자 1112가 상기 제2 회의실 1122에 위치한 조명의 밝기에 대해 눈부심을 느낀다고 판단할 수 있다. 상기 전자 장치 1101은, 상기 제2 회의실 1122 내 조명 밝기 값을 낮출 수 있다.
상기 전자 장치 1101은, 회의의 진행을 위한 패턴으로써, 전력 자원을 결정할 수도 있다. 상기 전자 장치 1101은, 상기 에너지 관리 시스템 1143을 통해, 사용자들 각각이 위치한 회의실에서 제공될 전력을 제어할 수 있다. 예를 들어, 상기 전자 장치 1101은, 한정된 전력 자원을 회의에 참석하는 참가자별 특성에 따라 분배할 수 있다. 다른 예를 들어, 상기 전자 장치 1101은, 회의에 참가하는 참가자들의 수와 스마트 빌딩 1000 내에 회의에 참가하지 않는 사용자들의 수에 기반하여, 회의에서 제공할 전력 자원을 결정할 수도 있다. 상기 전력 자원은 조명의 밝기, 회의실의 대여 시간, 제공되는 자료의 크기, 제공되는 자료의 시간, 또는 전체 회의 시간을 포함할 수 있다.
상기 전자 장치 1101은, 사용자에 의해 언급되지 않은 주제를 제시할 수 있다. 상기 전자 장치 1101은, 타 회의에서 언급되지 않은 주제 또는 회의 진행자가 언급하지 않은 주제를 식별할 수 있다. 일부 실시 예들에서, 상기 전자 장치 1101은, 제3 사용자 1113이 회의 진행자인 경우, 논의되는 주제들 각각에 대한 회의마다 상기 주제들을 식별하기 위한 식별자를 부여할 수 있다. 이 때, 상기 논의되는 주제들 각각에 대한 회의에서 참가자들은, 상기 제3 사용자 1113을 제외하고 다른 사용자들로 구성될 수 있다. 상기 전자 장치 1101은, 회의 진행자인 상기 제3 사용자 1113을 식별한 뒤, 상기 주제들을 식별하기 위한 식별자가 부여되지 않은 주제에 대한 알림 메시지를 제공할 수 있다.
도 12는 본 개시의 다양한 실시 예들에 따른 사용자의 장치에 제공되는 사용자 인터페이스(user interface, UI)의 예를 도시한다. 상기 장치는 상기 도 4의 제1 전자 장치 421, 제2 전자 장치 422, 또는 제3 전자 장치 423 중 하나일 수 있다. 이하, 상기 제1 전자 장치 421을 기준으로 설명한다.
도 12를 참고하면, 제1 전자 장치 421은, 제1 영역 1210과 제2 영역 1220을 포함할 수 있다. 상기 제1 영역 1210 및 상기 제2 영역 1220은 하나의 UI에서 2개의 영역으로 구분되는 화면(view)이거나, 2개의 UI에서 각각 제공되는 화면일 수 있다.
상기 제1 전자 장치 421은, 상기 제1 영역 1210을 통해 영상 정보를 제공할 수 있다. 상기 영상 정보는 현재 발언 중인 참가자(예: 제2 사용자 412)에 대한 영상 정보일 수 있다. 상기 영상 정보는, 현재 발언 중인 참가자의 실시간(real-time) 모습을 포함하는 영상 정보이거나, 현재 발언 중인 참가자에 대해 미리 저장된 이미지(예: 프로필(profile) 이미지)를 포함하는 영상 정보일 수 있다. 도 12에서는, 상기 제1 전자 장치 421이 상기 제1 영역을 통해 현재 발언 중인 참가자에 대한 영상 정보를 표시하는 것으로 도시하였으나, 이에 한정되지 않는다. 상기 제1 전자 장치 421은, 상기 제1 영역을 통해, 발언 중인 참가자가 제공하는 정보(예: 문서 파일)를 표시할 수도 있다.
상기 제1 전자 장치 421은, 상기 제2 영역 1220을 통해 현재 진행 중인 회의에 관한 정보를 포함할 수 있다. 상기 회의에 관한 정보는, 회의의 주제에 관한 정보, 현재 발언 중인 참가자(이하, 발언자)의 정보, 다음 발언 예정인 참가자의 정보, 현재 발언자의 잔여 시간 정보, 전체 회의 시간 정보, 회의에서 논의 예정인 주제들에 대한 정보, 발언자의 발언 속도, 또는 발언자의 발언에 대한 정보 중 적어도 하나를 포함할 수 있다. 예를 들어, 상기 회의의 주제에 관한 정보는, 상기 회의의 목적(예: 휴가지 결정)을 포함할 수 있다. 여기서, 상기 회의의 주제에 관한 정보는, 참가자들 간의 사전 설정에 의해 결정되거나, 발언자의 음성 신호로부터 획득되는 자연어에 기반하여 결정될 수도 있다. 상기 현재 발언자의 정보는, 상기 현재 발언자의 이름(예: 짐(Jim))일 수 있다. 상기 다음 발언 예정인 참가자의 정보는, 상기 발언 예정인 참가자의 이름(예: 존(John))일 수 있다.
상기 제2 사용자 412의 발언이 종료된 경우, 전자 장치 401은, 제1 사용자 411에게 발언 기회(발언권)를 부여할 수 있다. 상기 제1 전자 장치 421은 상기 제1 사용자 411에게 발언 기회가 부여됨에 따라, 다른 화면을 제공할 수 있다. 상기 제1 전자 장치 421은, 상기 제1 영역 1210을 통해, 상기 제1 사용자 411의 화면을 제공하거나 상기 전자 장치 401에 대한 화면을 제공할 수 있다.
상기 제1 사용자 411은 새로운 발언을 수행할 수 있다. 상기 제1 전자 장치 421은 상기 제1 사용자 411의 발언으로부터 음성 신호를 획득할 수 있다. 상기 제1 전자 장치 421은 상기 음성 신호를 전자 장치 401에게 전송할 수 있다. 상기 제1 전자 장치 421이 마이크가 구비되지 않은 상태에서, 상기 전자 장치 401은 직접 상기 제1 사용자 411로부터 음성 신호를 획득할 수도 있다. 상기 전자 장치 401은 음성 신호로부터 자연어 "짐, 요약해서 마리아에게 전달해 줄 수 있어"를 인식할 수 있다. 상기 전자 장치 401은, 인식한 자연어를 상기 제1 전자 장치 421에게 전송할 수 있다. 상기 제1 전자 장치 421이 자연어 인식 모듈을 포함하면, 상기 전자 장치 401과의 신호 전달 과정 없이, 상기 제1 전자 장치 421은 상기 제1 사용자 411의 발언에 대한 자연어를 직접 획득할 수도 있다. 상기 제1 전자 장치 421은, 획득한 자연어를 상기 제2 영역 1220에 표시할 수 있다.
도 12에 도시되지 않았으나, 전자 장치 401은, 상기 인식한 자연어로부터 '짐'이란 단어를 추출하고, 이에 대응하는 제2 사용자 412를 식별할 수 있다. 상기 전자 장치 401은, 상기 제1 사용자 411의 질문에 대응하는 응답(response)을 위하여, 상기 제2 사용자 412에게 발언 기회를 부여할 수 있다.
일부 실시 예들에서, 상기 제1 전자 장치 421이 침묵 모드(silent mode)로 동작할 수 있다. 상기 전자 장치 401은, 음성 신호 또는 자연어 인식을 이용하지 않고, 상기 제1 전자 장치 421과 텍스트(text)의 표시 및 인식을 통해 발언을 간접적으로 전달할 수도 있다. 상기 제1 전자 장치 421은, 상기 영역 1220을 통해 획득되는 텍스트를 표시하거나, 별도의 입력기를 통해 획득되는 텍스트를 다른 참가자에게 전달할 수 있다. 상기 전자 장치 401은, 상기 제1 전자 장치 421와의 회의 진행을 위하여, 텍스트 인식 모듈을 포함할 수 있다. 일부 실시 예들에서, 다른 참가자에게 텍스트를 전달하는 과정에서 자연어 생성(NLU)이 수행될 수 있다. 상기 자연어 생성을 통해 상기 전자 장치 401이 사람과 유사하게(human-like) 동작함으로써, 참가자들은 쉽고 자연스러운 방식으로 회의에 참여할 수 있다.
도 1 내지 도 12를 통해 서술한 바와 같이, 상기 전자 장치 401은, 사용자 별 개인화된 정보를 이용하여, 적응적으로 회의 패턴을 결정하고, 결정된 패턴을 제공함으로써, 회의에 참가한 사용자들 각각에게 최적의 회의 환경을 제공할 수 있다. 또한, 상기 전자 장치 401은, 사용자들 각각의 개인화된 정보를 종합하여, 사용자들 간 불균형을 해소하도록 자원을 조정할 뿐만 아니라, 누락 가능한 정보를 알림으로써, 효율적인 회의 환경을 제공할 수도 있다.
본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들은 하드웨어, 소프트웨어, 또는 하드웨어와 소프트웨어의 조합의 형태로 구현될(implemented) 수 있다.
소프트웨어로 구현하는 경우, 하나 이상의 프로그램(소프트웨어 모듈)을 저장하는 컴퓨터 판독 가능 저장 매체가 제공될 수 있다. 컴퓨터 판독 가능 저장 매체에 저장되는 하나 이상의 프로그램은, 전자 장치(device) 내의 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다(configured for execution). 하나 이상의 프로그램은, 전자 장치로 하여금 본 개시의 청구항 또는 명세서에 기재된 실시 예들에 따른 방법들을 실행하게 하는 명령어(instructions)를 포함한다.
이러한 프로그램(소프트웨어 모듈, 소프트웨어)은 랜덤 액세스 메모리 (random access memory), 플래시(flash) 메모리를 포함하는 불휘발성(non-volatile) 메모리, 롬(read only memory, ROM), 전기적 삭제가능 프로그램가능 롬(electrically erasable programmable read only memory, EEPROM), 자기 디스크 저장 장치(magnetic disc storage device), 컴팩트 디스크 롬(compact disc-ROM, CD-ROM), 디지털 다목적 디스크(digital versatile discs, DVDs) 또는 다른 형태의 광학 저장 장치, 마그네틱 카세트(magnetic cassette)에 저장될 수 있다. 또는, 이들의 일부 또는 전부의 조합으로 구성된 메모리에 저장될 수 있다. 또한, 각각의 구성 메모리는 다수 개 포함될 수도 있다.
또한, 프로그램은 인터넷(Internet), 인트라넷(Intranet), LAN(local area network), WAN(wide area network), 또는 SAN(storage area network)과 같은 통신 네트워크, 또는 이들의 조합으로 구성된 통신 네트워크를 통하여 접근(access)할 수 있는 부착 가능한(attachable) 저장 장치(storage device)에 저장될 수 있다. 이러한 저장 장치는 외부 포트를 통하여 본 개시의 실시 예를 수행하는 장치에 접속할 수 있다. 또한, 통신 네트워크상의 별도의 저장장치가 본 개시의 실시 예를 수행하는 장치에 접속할 수도 있다.
상술한 본 개시의 구체적인 실시 예들에서, 개시에 포함되는 구성 요소는 제시된 구체적인 실시 예에 따라 단수 또는 복수로 표현되었다. 그러나, 단수 또는 복수의 표현은 설명의 편의를 위해 제시한 상황에 적합하게 선택된 것으로서, 본 개시가 단수 또는 복수의 구성 요소에 제한되는 것은 아니며, 복수로 표현된 구성 요소라 하더라도 단수로 구성되거나, 단수로 표현된 구성 요소라 하더라도 복수로 구성될 수 있다.
한편 본 개시의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 개시의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며 후술되는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
Claims (20)
- 적응적으로(adaptively) 회의(meeting)를 제공하는 장치의 동작 방법에 있어서,
제1 사용자(user)에 관한 제1 정보 및 제2 사용자에 관한 제2 정보에 기반하여, 상기 제1 사용자의 제1 발언 속도 및 상기 제2 사용자의 제2 발언 속도를 결정하는 동작, 상기 제1 정보 및 상기 제2 정보는 각각 해당 사용자의 소리 정보를 포함함,
상기 제1 발언 속도 및 상기 제2 발언 속도에 기반하여, 상기 제1 사용자를 위한 제1 자원 및 상기 제2 사용자를 위한 제2 자원을 할당하는 동작, 상기 제1 자원은 상기 제1 사용자의 제1 발언 시간이고, 상기 제2 자원은 상기 제2 사용자의 제2 발언 시간임, 및
상기 제1 발언 시간 중 적어도 일부를 통해 결정된 상기 제1 사용자의 제3 발언 속도가 상기 제1 발언 속도와 다르면, 상기 제3 발언 속도 및 상기 제2 발언 속도에 기반하여 상기 제1 자원 및 상기 제2 자원을 조정하는 동작을 포함하는 방법.
- 청구항 1에 있어서, 상기 제1 자원 및 상기 제2 자원을 할당하는 동작은,
상기 제1 발언 속도 및 상기 제2 발언 속도에 반비례하게 상기 제1 자원 및 상기 제2 자원을 할당하는 동작을 포함하는 방법.
- 청구항 1에 있어서, 상기 제1 자원 및 상기 제2 자원을 조정하는 동작은,
상기 제1 발언 시간의 길이를 제1 길이에서 제3 길이로 변경하는 동작, 및
상기 제2 발언 시간의 길이를 제2 길이에서 제4 길이로 변경하는 동작을 포함하는 방법.
- 청구항 1에 있어서,
상기 제1 발언 속도 및 상기 제2 발언 속도를 결정하는 동작은, 제3 사용자에 관한 제3 정보에 기반하여 상기 제3 사용자의 제4 발언 속도를 결정하는 동작을 더 포함하고,
상기 제1 자원 및 상기 제2 자원을 할당하는 동작은, 상기 제4 발언 속도에 기반하여 상기 제3 사용자를 위한 제3 자원을 할당하는 동작을 더 포함하고, 상기 제3 자원은 상기 제3 사용자의 제3 발언 시간임,
상기 제1 발언 시간 중 일부 시간 동안 상기 제1 정보가 획득되지 않는 것에 응답하여, 상기 일부 시간에 대응되는 잔여 시간을 상기 제2 사용자 및 상기 제3 사용자에게 분배하는 동작을 더 포함하는, 방법.
- 청구항 4에 있어서, 상기 잔여 시간을 상기 제2 사용자 및 상기 제3 사용자에게 분배하는 동작은,
상기 제2 발언 시간의 길이 및 상기 제3 발언 시간의 길이에 비례하도록 상기 잔여 시간을 상기 제2 사용자 및 상기 제3 사용자에게 분배하는 동작을 포함하는, 방법.
- 삭제
- 삭제
- 삭제
- 삭제
- 청구항 1에 있어서,
상기 제1 사용자의 음성 신호 및 제3 사용자의 음성 신호가 특정 시간 내에 중첩되는 경우, 상기 제1 사용자 및 상기 제3 사용자 각각의 우선 순위에 따라, 상기 제1 사용자 및 상기 제3 사용자의 발언 순서를 결정하는 동작과,
상기 결정된 발언 순서에 따라, 상기 제1 사용자 또는 상기 제3 사용자에게 자원을 할당하는 동작을 더 포함하는 방법.
- 적응적으로(adaptively) 회의(meeting)를 제공하는 장치에 있어서,
마이크; 및
상기 마이크와 전기적으로 연결된 적어도 하나의 프로세서를 포함하고,
상기 적어도 하나의 프로세서는:
제1 사용자(user)에 관한 제1 정보 및 제2 사용자에 관한 제2 정보에 기반하여, 상기 제1 사용자의 제1 발언 속도 및 상기 제2 사용자의 제2 발언 속도를 결정하고, 상기 제1 정보 및 상기 제2 정보는 상기 마이크를 통해 획득된 해당 사용자의 소리 정보를 포함함,
상기 제1 발언 속도 및 상기 제2 발언 속도에 기반하여, 상기 제1 사용자를 위한 제1 자원 및 상기 제2 사용자를 위한 제2 자원을 할당하고, 상기 제1 자원은 상기 제1 사용자의 제1 발언 시간이고, 상기 제2 자원은 상기 제2 사용자의 제2 발언 시간임,
상기 제1 발언 시간 중 적어도 일부를 통해 결정된 상기 제1 사용자의 제3 발언 속도가 상기 제1 발언 속도와 다르면, 상기 제3 발언 속도 및 상기 제2 발언 속도에 기반하여 상기 제1 자원 및 상기 제2 자원을 조정하는 장치.
- 청구항 11에 있어서, 상기 적어도 하나의 프로세서는, 상기 제1 자원 및 상기 제2 자원을 할당하기 위하여,
상기 제1 발언 속도 및 상기 제2 발언 속도에 반비례하게 상기 제1 자원 및 상기 제2 자원을 할당하는, 장치.
- 청구항 11에 있어서, 상기 적어도 하나의 프로세서는, 상기 제1 자원 및 상기 제2 자원을 조정하기 위하여,
상기 제1 발언 시간의 길이를 제1 길이에서 제3 길이로 변경하고,
상기 제2 발언 시간의 길이를 제2 길이에서 제4 길이로 변경하는 장치.
- 청구항 11에 있어서,
상기 적어도 하나의 프로세서는:
상기 제1 발언 속도 및 상기 제2 발언 속도와 함께, 제3 사용자에 관한 제3 정보에 기반하여 상기 제3 사용자의 제4 발언 속도를 결정하고,
상기 제1 발언 속도, 상기 제2 발언 속도, 및 상기 제4 발언 속도에 기반하여, 상기 제1 자원, 상기 제2 자원 및 상기 제3 사용자를 위한 제3 자원을 할당하고, 상기 제3 자원은 상기 제3 사용자의 제3 발언 시간이고,
상기 제1 발언 시간 중 일부 시간 동안 상기 제1 정보가 획득되지 않는 것에 응답하여, 상기 일부 시간에 대응되는 잔여 시간을 상기 제2 사용자 및 상기 제3 사용자에게 분배하는 장치.
- 청구항 14에 있어서,
상기 적어도 하나의 프로세서는,
상기 제2 발언 시간의 길이 및 상기 제3 발언 시간의 길이에 비례하도록 상기 잔여 시간을 상기 제2 사용자 및 상기 제3 사용자에게 분배하는, 장치.
- 삭제
- 삭제
- 삭제
- 삭제
- 청구항 11에 있어서,
상기 제1 사용자의 음성 신호 및 제3 사용자의 음성 신호가 특정 시간 내에 중첩되는 경우, 상기 제1 사용자 및 상기 제3 사용자 각각의 우선 순위에 따라, 상기 제1 사용자 및 상기 제3 사용자의 발언 순서를 결정하고,
상기 결정된 발언 순서에 따라, 상기 제1 사용자 또는 상기 제3 사용자에게 자원을 할당하도록 추가적으로 구성되는 장치.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170009603A KR102444165B1 (ko) | 2017-01-20 | 2017-01-20 | 적응적으로 회의를 제공하기 위한 장치 및 방법 |
| EP18741396.8A EP3570490A4 (en) | 2017-01-20 | 2018-01-19 | DEVICE AND METHOD FOR ADAPTIVELY PROVIDING MEETINGS |
| PCT/KR2018/000876 WO2018135892A1 (ko) | 2017-01-20 | 2018-01-19 | 적응적으로 회의를 제공하기 위한 장치 및 방법 |
| US16/479,904 US11271765B2 (en) | 2017-01-20 | 2018-01-19 | Device and method for adaptively providing meeting |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170009603A KR102444165B1 (ko) | 2017-01-20 | 2017-01-20 | 적응적으로 회의를 제공하기 위한 장치 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180085920A KR20180085920A (ko) | 2018-07-30 |
| KR102444165B1 true KR102444165B1 (ko) | 2022-09-16 |
Family
ID=62908244
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170009603A KR102444165B1 (ko) | 2017-01-20 | 2017-01-20 | 적응적으로 회의를 제공하기 위한 장치 및 방법 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US11271765B2 (ko) |
| EP (1) | EP3570490A4 (ko) |
| KR (1) | KR102444165B1 (ko) |
| WO (1) | WO2018135892A1 (ko) |
Families Citing this family (22)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102228455B1 (ko) * | 2013-08-05 | 2021-03-16 | 삼성전자주식회사 | 대화의 소재를 제공하는 장치, 서버 및 방법 |
| US9867021B1 (en) | 2015-12-02 | 2018-01-09 | Hopgrade, Inc. | Specially programmed computing devices being continuously configured to allow unfamiliar individuals to have instantaneous real-time meetings to create a new marketplace for goods and/or services |
| EP3437252B1 (en) * | 2016-04-12 | 2021-06-02 | Hewlett-Packard Development Company, L.P. | Conferencing system |
| US11583997B2 (en) * | 2018-09-20 | 2023-02-21 | Sony Group Corporation | Autonomous robot |
| US11985000B2 (en) * | 2018-12-10 | 2024-05-14 | Microsoft Technology Licensing, Llc | Dynamic curation of sequence events for communication sessions |
| EP3723354B1 (en) * | 2019-04-09 | 2021-12-22 | Sonova AG | Prioritization and muting of speakers in a hearing device system |
| CN114008621A (zh) * | 2019-05-28 | 2022-02-01 | 惠普发展公司，有限责任合伙企业 | 确定关于会议中的主题的观察 |
| US20210133692A1 (en) * | 2019-11-04 | 2021-05-06 | International Business Machines Corporation | Routing participants to meetings |
| WO2021112650A1 (ko) * | 2019-12-06 | 2021-06-10 | 주식회사 하얀마인드 | 일대다 매칭 외국어 학습 중계 서버 및 외국어 강의 방법 |
| US11687778B2 (en) | 2020-01-06 | 2023-06-27 | The Research Foundation For The State University Of New York | Fakecatcher: detection of synthetic portrait videos using biological signals |
| US20210335367A1 (en) * | 2020-04-28 | 2021-10-28 | Open Text Holdings, Inc. | Systems and methods for identifying conversation roles |
| CN111861815B (zh) * | 2020-06-19 | 2024-02-02 | 北京国音红杉树教育科技有限公司 | 一种词听学习中评估用户记忆水平的方法及装置 |
| US20210397991A1 (en) * | 2020-06-23 | 2021-12-23 | Dell Products, L.P. | Predictively setting information handling system (ihs) parameters using learned remote meeting attributes |
| US11928649B2 (en) * | 2020-08-17 | 2024-03-12 | Dell Products, L.P. | Resolving remote meeting conflicts using learned attributes and context information |
| CN112181144B (zh) * | 2020-09-25 | 2023-08-15 | 北京博睿维讯科技有限公司 | 一种终端控制方法及系统 |
| US11470162B2 (en) * | 2021-01-30 | 2022-10-11 | Zoom Video Communications, Inc. | Intelligent configuration of personal endpoint devices |
| US11477042B2 (en) | 2021-02-19 | 2022-10-18 | International Business Machines Corporation | Ai (artificial intelligence) aware scrum tracking and optimization |
| CN113205562B (zh) * | 2021-05-31 | 2023-09-15 | 中国矿业大学(北京) | 一种基于双目视觉的矿井热动力灾害判识与定位方法 |
| EP4141766A1 (en) * | 2021-08-31 | 2023-03-01 | Ricoh Company, Ltd. | Information processing apparatus, meeting system, method and carrier means |
| US11539540B1 (en) | 2021-11-30 | 2022-12-27 | International Business Machines Corporation | Ameliorative resource action during an e-conference |
| KR102599783B1 (ko) * | 2023-06-16 | 2023-11-07 | 이은진 | 회의 기기를 통합 제어하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체 |
| CN117812217B (zh) * | 2024-01-10 | 2024-07-23 | 北京中电中天电子工程有限公司 | 一种智能无纸化会议控制与管理平台 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011061450A (ja) * | 2009-09-09 | 2011-03-24 | Nippon Telegr & Teleph Corp <Ntt> | 会議通信システム、会議通信方法及びプログラム |
| JP2011081504A (ja) * | 2009-10-05 | 2011-04-21 | Hitachi Ltd | 会議支援システムおよびプログラム |
| US20160284354A1 (en) * | 2015-03-23 | 2016-09-29 | International Business Machines Corporation | Speech summarization program |
Family Cites Families (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR19990060724A (ko) * | 1997-12-31 | 1999-07-26 | 전주범 | 화상 회의 시스템 |
| US6820055B2 (en) | 2001-04-26 | 2004-11-16 | Speche Communications | Systems and methods for automated audio transcription, translation, and transfer with text display software for manipulating the text |
| US20060224430A1 (en) | 2005-04-05 | 2006-10-05 | Cisco Technology, Inc. | Agenda based meeting management system, interface and method |
| US7679518B1 (en) | 2005-06-28 | 2010-03-16 | Sun Microsystems, Inc. | Meeting facilitation tool |
| US8214242B2 (en) | 2008-04-24 | 2012-07-03 | International Business Machines Corporation | Signaling correspondence between a meeting agenda and a meeting discussion |
| US8300082B2 (en) | 2008-12-15 | 2012-10-30 | At&T Intellectual Property I, Lp | Apparatus and method for video conferencing |
| US9111263B2 (en) * | 2009-06-15 | 2015-08-18 | Microsoft Technology Licensing, Llc | Adaptive meeting management |
| US8214748B2 (en) | 2009-09-22 | 2012-07-03 | International Business Machines Corporation | Meeting agenda management |
| JP5257330B2 (ja) | 2009-11-06 | 2013-08-07 | 株式会社リコー | 発言記録装置、発言記録方法、プログラム及び記録媒体 |
| AU2011214952B2 (en) | 2010-02-12 | 2016-08-04 | Let's Powow Limited | Public collaboration system |
| US8606579B2 (en) | 2010-05-24 | 2013-12-10 | Microsoft Corporation | Voice print identification for identifying speakers |
| US8786597B2 (en) | 2010-06-30 | 2014-07-22 | International Business Machines Corporation | Management of a history of a meeting |
| US9118734B2 (en) * | 2010-12-07 | 2015-08-25 | International Business Machines Corporation | Systems for managing conferences |
| US20120166242A1 (en) | 2010-12-27 | 2012-06-28 | Avaya Inc. | System and method for scheduling an e-conference for participants with partial availability |
| US20130007635A1 (en) | 2011-06-30 | 2013-01-03 | Avaya Inc. | Teleconferencing adjunct and user interface to support temporary topic-based exclusions of specific participants |
| US9195971B2 (en) | 2011-07-12 | 2015-11-24 | Salesforce.Com, Inc. | Method and system for planning a meeting in a cloud computing environment |
| EP2769541A1 (de) * | 2011-10-18 | 2014-08-27 | Unify GmbH & Co. KG | Verfahren und vorrichtung zur bereitstellung von in einer konferenz erzeugten daten |
| US9292814B2 (en) | 2012-03-22 | 2016-03-22 | Avaya Inc. | System and method for concurrent electronic conferences |
| US8914452B2 (en) | 2012-05-31 | 2014-12-16 | International Business Machines Corporation | Automatically generating a personalized digest of meetings |
| US9269073B2 (en) | 2012-09-20 | 2016-02-23 | Avaya Inc. | Virtual agenda participant |
| US8942684B2 (en) * | 2012-10-15 | 2015-01-27 | Bank Of America Corporation | Adaptive scaffolding of levels of connectivity during a conference |
| US9165329B2 (en) | 2012-10-19 | 2015-10-20 | Disney Enterprises, Inc. | Multi layer chat detection and classification |
| US10459985B2 (en) | 2013-12-04 | 2019-10-29 | Dell Products, L.P. | Managing behavior in a virtual collaboration session |
| US9332224B2 (en) * | 2014-05-29 | 2016-05-03 | International Business Machines Corporation | Adaptive video streaming for communication sessions |
-
2017
- 2017-01-20 KR KR1020170009603A patent/KR102444165B1/ko active IP Right Grant
-
2018
- 2018-01-19 US US16/479,904 patent/US11271765B2/en active Active
- 2018-01-19 WO PCT/KR2018/000876 patent/WO2018135892A1/ko unknown
- 2018-01-19 EP EP18741396.8A patent/EP3570490A4/en not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011061450A (ja) * | 2009-09-09 | 2011-03-24 | Nippon Telegr & Teleph Corp <Ntt> | 会議通信システム、会議通信方法及びプログラム |
| JP2011081504A (ja) * | 2009-10-05 | 2011-04-21 | Hitachi Ltd | 会議支援システムおよびプログラム |
| US20160284354A1 (en) * | 2015-03-23 | 2016-09-29 | International Business Machines Corporation | Speech summarization program |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2018135892A1 (ko) | 2018-07-26 |
| US11271765B2 (en) | 2022-03-08 |
| US20190394057A1 (en) | 2019-12-26 |
| KR20180085920A (ko) | 2018-07-30 |
| EP3570490A4 (en) | 2020-01-29 |
| EP3570490A1 (en) | 2019-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102444165B1 (ko) | 적응적으로 회의를 제공하기 위한 장치 및 방법 | |
| KR102414122B1 (ko) | 사용자 발화를 처리하는 전자 장치 및 그 동작 방법 | |
| CN110199350B (zh) | 用于感测语音结束的方法和实现该方法的电子设备 | |
| KR102558437B1 (ko) | 질의 응답 처리 방법 및 이를 지원하는 전자 장치 | |
| US11435980B2 (en) | System for processing user utterance and controlling method thereof | |
| US11145302B2 (en) | System for processing user utterance and controlling method thereof | |
| KR102299764B1 (ko) | 전자장치, 서버 및 음성출력 방법 | |
| CN107637025B (zh) | 用于输出消息的电子装置及其控制方法 | |
| KR102398649B1 (ko) | 사용자 발화를 처리하는 전자 장치 및 그 동작 방법 | |
| CN108351890B (zh) | 电子装置及其操作方法 | |
| CN108885485A (zh) | 基于存在性检测的数字助理体验 | |
| KR102653450B1 (ko) | 전자 장치의 입력 음성에 대한 응답 방법 및 그 전자 장치 | |
| CN110462647B (zh) | 电子设备及执行电子设备的功能的方法 | |
| KR102423298B1 (ko) | 음성 인식 서비스 운용 방법, 이를 지원하는 전자 장치 및 시스템 | |
| KR102389996B1 (ko) | 전자 장치 및 이를 이용한 사용자 입력을 처리하기 위한 화면 제어 방법 | |
| CN109102802A (zh) | 用于处理用户话语的系统 | |
| CN110476150A (zh) | 用于操作语音辨识服务的方法和支持其的电子装置 | |
| CN109272994A (zh) | 话音数据处理方法以及支持该话音数据处理方法的电子装置 | |
| KR102391298B1 (ko) | 음성 인식 서비스를 제공하는 전자 장치 및 그 방법 | |
| KR102585230B1 (ko) | 통화 요청에 대한 알림 메시지를 제공하는 디바이스 및 방법 | |
| CN111587419A (zh) | 电子装置及其控制方法 | |
| KR102288995B1 (ko) | 설문 조사 서비스를 제공하는 전자 장치 및 그 동작 방법 | |
| KR20190030549A (ko) | 영상 채팅에 기반하여 광고 콘텐츠의 흐름을 제어하는 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 | |
| KR102470815B1 (ko) | 인기 투표 서비스를 제공하는 서버 및 그 동작 방법 | |
| KR102602480B1 (ko) | 사용자에게 뷰티 스타일링을 추천하는 전자 장치 및 그 동작 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |