KR102729359B1 - 가상 도우미에 기반한 교수 학습 지원 방법 및 장치 - Google Patents

Abstract

본 개시의 일 실시 예에 따른 교수 학습 지원 방법은 각 단계가 프로세서에 의해 수행되는 방법으로서 복수의 사용자 단말 및 교수자 단말기의 접속 절차를 처리하는 단계, 복수의 사용자 단말에 컨텐츠를 전송하는 단계, 가상 오브젝트를 생성하여 복수의 사용자 단말 또는 교수자 단말기에서 가상 오브젝트를 표시하도록 요청하는 제어 신호를 복수의 사용자 단말 또는 교수자 단말기에 전송하는 단계, 복수의 사용자 단말 중 적어도 일부에서 수집한 정보, 컨텐츠 및 교수자 단말기에서 수신한 음성 데이터 중 적어도 하나에 기반하여 부가 컨텐츠를 생성하는 단계 및 복수의 사용자 단말 또는 교수자 단말기에서 가상 오브젝트가 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 복수의 사용자 단말 또는 교수자 단말기에 전송하는 단계를 포함할 수 있다.

Description

가상 도우미에 기반한 교수 학습 지원 방법 및 장치{APPARATUS AND METHOD FOR SUPPORTING TEACHING AND LEARNING BASED ON VIRTUAL HELPER}

본 개시는 교수 학습을 지원하는 장치 및 방법에 관한 것으로서, 더욱 상세하게는 가상 도우미에 기반하여 교수 및 학습을 지원하는 장치 및 방법에 관한 것이다.

언택트(untact)로 대변되는 비대면 기술이 점차 발전하고 있으며, 특히 원격을 통한 화상 회의, 화상 강의 시장도 커지고 있다.

현재의 화상 회의, 화상 강의 기술은 주로 단순하게 컨텐츠를 표시하는 수준에 그치고 있다.

이에 선행기술 1은 학습자의 학습정보는 물론, 학습자의 생체정보를 활용하는 구성을 제시하고 있다.

하지만, 현재의 화상 회의, 화상 강의 기술은 교수자(발언자)의 일방적인 전달과 학습자(청취자)의 수동적인 모습을 변화시키는 방법은 제공하지 못하는 문제점이 있다.

선행기술 1: 한국 등록특허공보 제 10-2383457호(2022.04.08. 공고)

본 개시의 일 실시 예는 학습자 또는 청취자의 수동적인 상황을 개선하는 교수 학습 지원 장치 및 방법을 제공한다.

본 개시의 다른 실시 예는 컨텐츠로부터 부가 컨텐츠를 생성함으로써 교수자/발언자와 학습자/청취자의 강의 및 이해를 향상시킬 수 있는 교수 학습 지원 장치 및 방법을 제공한다.

본 개시의 일 실시 예에 따른 교수 학습 지원 방법은 각 단계가 프로세서에 의해 수행되는 방법으로서 복수의 사용자 단말 및 교수자 단말기의 접속 절차를 처리하는 단계, 복수의 사용자 단말에 컨텐츠를 전송하는 단계, 가상 오브젝트를 생성하여 복수의 사용자 단말 또는 교수자 단말기에서 가상 오브젝트를 표시하도록 요청하는 제어 신호를 복수의 사용자 단말 또는 교수자 단말기에 전송하는 단계, 복수의 사용자 단말 중 적어도 일부에서 수집한 정보, 컨텐츠 및 교수자 단말기에서 수신한 음성 데이터 중 적어도 하나에 기반하여 부가 컨텐츠를 생성하는 단계 및 복수의 사용자 단말 또는 교수자 단말기에서 가상 오브젝트가 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 복수의 사용자 단말 또는 교수자 단말기에 전송하는 단계를 포함할 수 있다.

본 개시의 다른 실시 예에 따른 교수 학습 지원 방법은 각 단계가 프로세서에 의해 수행되는 방법으로서, 복수의 사용자 단말의 접속 절차를 처리하는 단계, 제1 디스플레이 장치에 교수자가 제공한 컨텐츠를 표시하는 단계, 복수의 사용자 단말 중 적어도 일부에서 수집한 정보, 컨텐츠 및 교수자의 음성 데이터 중 적어도 하나에 기반하여 부가 컨텐츠를 생성하는 단계 및 제2 디스플레이 장치에 부가 컨텐츠를 표시하는 단계를 포함할 수 있다.

본 개시의 일 실시 예에 따른 교수 학습 지원 장치는 프로세서 및 프로세서와 전기적으로 연결되고, 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서가, 복수의 사용자 단말 및 교수자 단말기의 접속 절차를 처리하고, 복수의 사용자 단말에 컨텐츠를 전송하고, 오브젝트를 생성하여 복수의 사용자 단말 또는 교수자 단말기에서 가상 오브젝트를 표시하도록 요청하는 제어 신호를 복수의 사용자 단말 또는 교수자 단말기에 전송하고, 복수의 사용자 단말 중 적어도 일부에서 수집한 정보, 컨텐츠 및 교수자 단말기에서 수신한 음성 데이터 중 적어도 하나에 기반하여 부가 컨텐츠를 생성하고, 복수의 사용자 단말 또는 교수자 단말기에서 가상 오브젝트가 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 복수의 사용자 단말 또는 교수자 단말기에 전송하도록 야기하는 코드를 저장할 수 있다.

본 개시의 다른 실시 예에 따른 교수 학습 지원 장치는 프로세서 및 프로세서와 전기적으로 연결되고, 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고, 메모리는 프로세서를 통해 실행될 때 프로세서가, 복수의 사용자 단말의 접속 절차를 처리하고, 제1 디스플레이 장치에 교수자가 제공한 컨텐츠를 표시하고, 복수의 사용자 단말 중 적어도 일부에서 수집한 정보, 컨텐츠 및 교수자의 음성 데이터 중 적어도 하나에 기반하여 부가 컨텐츠를 생성하고, 제2 디스플레이 장치에 부가 컨텐츠를 표시하도록 야기하는 코드를 저장할 수 있다.

본 개시의 실시 예에 따른 교수 학습 지원 장치 및 방법은 교수자/발언자와 학습자/청취자의 쌍방향의 능동적인 회의 또는 학습 환경을 제공할 수 있다.

본 개시의 실시 예에 따른 교수 학습 지원 장치 및 방법은 학습자의 학습 능률을 향상시킬 수 있다.

도 1은 본 개시의 일 실시 예에 따른 교수 학습 지원 방법에 따른 인터페이스의 일 실시 예를 도시하는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 교수 학습 지원 방법을 수행하거나 교수 학습 지원 장치가 구동하기 위한 환경을 나타낸 도면이다.
도 3은 본 개시의 다른 실시 예에 따른 교수 학습 지원 방법을 수행하거나 교수 학습 지원 장치가 구동하기 위한 환경을 나타낸 도면이다.
도 4는 본 개시의 일 실시 예에 따른 교수 학습 지원 장치의 구성을 나타낸 블록도이다.
도 5는 본 개시의 일 실시 예에 따른 교수 학습 지원 방법을 설명하기 위한 순서도이다.
도 6은 본 개시의 일 실시 예에 따른 부가 컨텐츠를 생성하는 방법 및 부가 컨텐츠의 전송 시점을 결정하는 방법을 설명하기 위한 도면이다.
도 7은 본 개시의 일 실시 예에 따른 학습자 또는 청취자의 집중도 또는 이해도를 판단하는 방법을 설명하기 위한 도면이다.

이하, 첨부된 도면을 참조하여 본 명세서에 개시된 실시 예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 이하의 설명에서 사용되는 구성요소에 대한 접미사 "모듈" 및 "부"는 명세서 작성의 용이함만이 고려되어 부여되거나 혼용되는 것으로서, 그 자체로 서로 구별되는 의미 또는 역할을 갖는 것은 아니다. 또한, 본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

도 1을 참조하여 본 개시의 일 실시 예에 따른 교수 학습 지원 방법에 따른 인터페이스의 일 실시 예를 설명한다.

도 1은 교수 학습 지원 방법에 의한 사용자 단말(200)의 인터페이스의 일 실시 예를 도시한다.

본 명세서에서 원격 강의를 실시 예로서 설명하지만, 이는 원격 화상 회의에도 적용 가능하고, 본 명세서의 교수자는 원격 화상 회의의 발언자를 포함하는 개념이고, 학습자는 원격 화상 회의의 청취자, 사용자를 포함하는 개념이다. 따라서, 본 명세서의 실시 예들은 원격 강의에만 국한되는 것으로 이해되지 말아야 한다.

사용자 단말은 교수자가 제공한 컨텐츠(101)를 표시하는 영역과, 선택적으로 교수자 단말(300)로부터 교수자의 모습을 전송 받아 표시하는 영역 및 복수의 사용자 단말(200)로부터 사용자(학습자)의 모습을 전송 받아 표시하는 영역이 존재할 수 있다.

교수 학습 지원 장치(100)는 특정 영역에 가상의 오브젝트를 표시하도록 교수자 단말(300) 및 사용자 단말(200)에 제어 신호를 전송할 수 있다. 가상의 오브젝트는 특정 형태가 아닌 도형이거나, 가상의 학생 모습일 수 있다. 특정 영역은 이와 달리 가상의 오브젝트가 없이 부가 컨텐츠를 표시하는 공백의 영역일 수 있다.

교수 학습 지원 장치(100)는 복수의 사용자 단말(200) 중 적어도 일부에서 수집한 정보, 강의 진행에 따라 변화하는 컨텐츠(101) 및 교수자 단말(300)에서 수신한 음성 데이터 중 적어도 하나에 기반하여 부가 컨텐츠를 생성하여 가상의 오브젝트 또는 상기 특정 영역에 표시하도록 사용자 단말(200) 및 교수자 단말(300)에 제어신호를 전송할 수 있다. 이 때, 사용자 단말(200) 및 교수자 단말(300)에 표시되는 부가 컨텐츠는 서로 다를 수 있고, 어느 하나에만 표시될 수도 있다.

도 2를 참조하여 본 개시의 일 실시 예에 따른 교수 학습 지원 방법을 수행하거나 교수 학습 지원 장치가 구동하기 위한 환경의 일 실시 예를 설명한다.

일 실시 예에서, 교수 학습 지원 장치(100)는 강의 플랫폼(100a)과 내부의 교수 학습 지원부(100b)를 포함할 수 있다. 강의 플랫폼(100a)은 사용자 단말(200) 및 교수자 단말(300)과의 접속 과정을 처리하고, 교수자 단말(300)에서 업로드된 컨텐츠를 사용자 단말(200)로 배포하며, 교수자 단말(300)의 실시간 강의 데이터(음성, 필기 등)를 사용자 단말(200)로 배포할 수 있다. 교수 학습 지원부(100b)는 사용자 단말(200) 및 교수자 단말(300)에 가상 오브젝트를 표시하도록 제어하고, 사용자 단말(200) 및 교수자 단말(300)에서 수집한 정보, 교수자 단말(300)에서 업로드된 컨텐츠, 교수자 단말(300)의 실시간 강의 데이터(음성, 필기 등)에 기반하여 부가 컨텐츠를 생성할 수 있다.

다른 실시 예에서, 강의 플랫폼(100a)과 교수 학습 지원 장치는 별도의 장치로 구성될 수 있고, 이 경우 교수 학습 지원 장치는 강의 플랫폼(100a)과 연계하여 강의 플랫폼(100)을 통해 가상 오브젝트 및 생성된 부가 컨텐츠를 사용자 단말(200) 및 교수자 단말(300)에 배포하도록 요청할 수 있다. 또한, 부가 컨텐츠 생성을 위하여 사용자 단말(200) 및 교수자 단말(300)에서 수집한 정보, 교수자 단말(300)에서 업로드된 컨텐츠, 교수자 단말(300)의 실시간 강의 데이터(음성, 필기 등)을 강의 플랫폼(100a)으로부터 수신할 수 있다.

도 3을 참조하여 본 개시의 다른 실시 예에 따른 교수 학습 지원 방법을 수행하거나 교수 학습 지원 장치가 구동하기 위한 환경의 일 실시 예를 설명한다.

도 2를 참조하여 설명한 실시 예는 원격 화상 회의를 통한 교수 학습 지원 기술이나, 도 3을 참조하여 설명하는 실시 예는 대면 수업 등의 오프라인에 기반한 강의, 회의 등의 경우 교수 학습을 지원하는 기술이다. 아래에서는 강의 플랫폼(100a)과 내부의 교수 학습 지원부(100b)가 하나의 장치에 구성된 것을 전제로 설명하지만, 도 2와 마찬가지로 별도의 장치로 구성될 수 있다.

교수 학습 지원 장치(100)는 복수의 사용자 단말(201)의 접속 절차를 처리하고, 교수자(301)가 업로드한 컨텐츠를 제1 디스플레이 장치(101)에 표시한다. 교수 학습 지원 장치(100)는 교수자(301)의 음성 데이터를 수집하거나, 복수의 사용자 단말(201) 및 교수자(301)가 업로드한 컨텐츠에 기반하여 부가 컨텐츠를 생성한 후 제2 디스플레이 장치(103)에 부가 컨텐츠를 표시할 수 있다. 부가 컨텐츠는 제2 디스플레이 장치(103)에 표시되는 가상의 학생, 가상의 오브젝트 등으로 사운드 또는 시각화 요소로서 표시할 수 있다. 도 3의 실시 예는 제2 디스플레이 장치(103)에 가상의 학생이 3차원 홀로그램으로 표시되거나 2차원 디스플레이 장치에 표시될 수 있다.

본 명세서에서 표시, 디스플레이는 반드시 시각화 요소로 표출하는 것 이외에도 사운드, LED 등 외부에 시각적, 청각적 요소로 표출하는 모든 방식을 포함하는 개념이다.

도 4를 참조하여 본 개시의 일 실시 예에 따른 교수 학습 지원 장치(100)의 구성을 설명한다.

교수 학습 지원 장치(100)는 사용자 단말(200) 및 교수자 단말(300)의 접속 처리를 수행하거나 사용자 단말(200)의 질문 정보를 수신하거나, 사용자 단말(200)의 선택 정보를 수신하거나, 교수자 단말(300)의 음성을 수신하거나, 사용자 단말(200) 및 교수자 단말(300)의 카메라에서 획득한 영상 정보 또는 영상 정보를 처리한 눈동자 위치 정보 등을 수신하는 통신부(110), 프로세서(130)의 수행을 처리하도록 지시하는 코드(code) 또는 컨텐츠 등을 저장하는 메모리(120)를 포함할 수 있다. 교수 학습 지원 장치(100)는 사용자 단말(200) 및 교수자 단말(300)의 카메라에서 획득한 영상 정보를 딥러닝 기반의 학습 모델에 입력하여 표정을 판단하거나 음성 정보로부터 키워드를 추출하는 학습 모델(150) 및 딥러닝 기반의 프로세스를 가속화하는 딥러닝 프로세서(140)를 포함할 수 있다. 교수 학습 지원 장치(100)는 관리자 등의 사용자 인터페이싱을 위한 인터페이스(150) 및 디스플레이(170)를 포함할 수 있다.

일 실시 예에서, 교수 학습 지원 장치(100)의 통신부(110)는 통신 인터페이스로서 무선 통신부 또는 유선 통신부를 포함할 수 있다.

무선 통신부는, 이동통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈, 위치정보 모듈 중 적어도 하나를 포함할 수 있다.

이동통신 모듈은, 이동통신을 위한 통신방식인 LTE(Long Term Evolution) 등에 따라 구축된 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다.

무선 인터넷 모듈은 무선 인터넷 접속을 위한 모듈로서, 교수 학습 지원 장치(100)에 내장되거나 외장될 수 있고, WLAN(Wireless LAN), Wi-Fi(Wireless-Fidelity), Wi-Fi(Wireless Fidelity) Direct, DLNA(Digital Living Network Alliance) 등이 사용될 수 있다.

근거리 통신 모듈은 근거리 통신을 통하여 데이터 송수신을 위한 모듈로서, 블루투스(Bluetooth™), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association; IrDA), UWB(Ultra Wideband), ZigBee, NFC(Near Field Communication) 등을 사용할 수 수 있다.

위치정보 모듈은 교수 학습 지원 장치(100)의 위치를 획득하기 위한 모듈로서, 위성 항법 기술에 기반한 GPS(Global Positioning System) 모듈이거나, 무선 통신 기지국, 무선 액세스 포인트와의 무선 통신에 기반하여 위치를 획득하는 모듈일 수 있다. 위치정보 모듈은 WiFi 모듈을 포함할 수 있다.

일 실시 예에서, 교수 학습 지원 장치(100)는 사용자의 입력을 위한 입력부 또는 출력부를 포함할 수 있다.

입력부는 마이크로폰, 사용자로부터 정보를 입력 받기 위한 터치 인터페이스를 포함하는 사용자 인터페이스(UI: User Interface)를 포함하고, 사용자 인터페이스는 마우스, 키보드뿐만 아니라 장치에 구현된 기계식, 전자식 인터페이스 등을 포함할 수 있고 사용자의 명령을 입력 가능한 것이라면 특별히 그 방식과 형태를 한정하지 않는다. 전자식 인터페이스는 터치 입력 가능한 디스플레이를 포함한다.

디스플레이(170)는 교수 학습 지원 장치(100)의 출력을 외부에 표출하여 사용자에게 정보를 전달하기 위한 것으로서, 시각적 출력, 청각적 출력 또는 촉각적 출력을 표출하기 위한 디스플레이, LED, 스피커 등을 포함할 수 있다.

교수 학습 지원 장치(100)는 다양한 종류의 연결된 외부 기기와의 데이터 전송을 위한 주변 장치 인터페이스(160)를 포함할 수 있고, 메모리 카드(memory card) 포트, 외부 장치 I/O(Input/Output) 포트(port) 등을 포함할 수 있다.

딥러닝 기반의 학습 모델은 학습 모델은 CNN 또는 R-CNN(Region based CNN), C-RNN(Convolutional Recursive Neural Network), Fast R-CNN, Faster R-CNN, R-FCN(Region based Fully Convolutional Network), YOLO(You Only Look Once) 또는 SSD(Single Shot Multibox Detector), RNN(Recursive neural network), LSTM(Long Short-Term Memory)구조의 신경망을 포함할 수 있다.

학습 모델은 하드웨어, 소프트웨어 또는 하드웨어와 소프트웨어의 조합으로 구현될 수 있으며, 학습 모델의 일부 또는 전부가 소프트웨어로 구현되는 경우 학습 모델을 구성하는 하나 이상의 명령어는 메모리에 저장될 수 있다.

도 5를 참조하여 본 개시의 일 실시 예에 따른 교수 학습 지원 장치(100)의 교수 학습 지원 방법을 설명한다.

앞에서 설명한 것처럼, 본 방법은 사용자 단말(200) 및 교수자 단말(300)의 접속 절차를 처리하거나 컨텐츠를 배포하는 강의 플랫폼(100a)이 하나의 장치로 구성된 것을 전제로 하여 설명하지만, 서로 별개로 구성된 것을 배제하지 않는다.

교수 학습 지원 장치(100)는 사용자 단말(200) 및 교수자 단말(300)의 접속 절차를 처리한다(S110). 교수 학습 지원 장치(100)가 강의 지원 장치인 경우 사용자 단말(200)은 학습자 단말일 수 있다.

교수 학습 지원 장치(100)는 접속 절차가 완료된 사용자 단말(200)에 교수자 단말(300)이 미리 또는 실시간으로 업로드하는 컨텐츠를 전송한다(S120).

교수 학습 지원 장치(100)는 사용자 단말(200) 및 교수자 단말(300)에 가상 오브젝트를 표시하도록 제어 신호를 전송한다(S130). 가상 오브젝트는 이후의 부가 컨텐츠를 표시할 때, 표시의 주체로서 디스플레이에 표시되는 객체로서, 인물의 형태인 가상의 인물이거나, 특별히 그 형태를 한정하지 않는다.

이후, 교수 학습 지원 장치(100)는 사용자 단말(200) 및 교수자 단말(300)에서 수집한 정보, 교수자 단말(300)에서 업로드된 컨텐츠, 교수자 단말(300)의 실시간 강의 데이터(음성, 필기 등) 등에 기반하여 부가 컨텐츠를 생성하고(S140), 사용자 단말(200) 및 교수자 단말(300) 중 적어도 하나에 부가 컨텐츠를 표시하도록 제어 신호를 전송한다(S150).

사용자 단말(200)에서 수집한 정보는 컨텐츠에 대한 사용자(학습자)들의 피드백 정보일 수 있다. 예를 들어, 사용자 단말(200) 에 현재 컨텐츠의 이해 정도에 대한 피드백이 가능한 인터페이스가 표시되고, 이에 대한 사용자들의 선택 입력(예를 들면, '이해가 안됨'이라는 버튼 또는 5점 척도에서의 척도 값에 대한 선택 등)일 수 있다. 다른 예로서, 피드백 정보는 사용자들의 질문이거나, 특정 사용자의 질문에 대한 동의 선택일 수 있다. 예를 들어, 사용자 단말(200)들로부터 수집된 질문들이 피드백 정보이거나 수집된 질문들을 사용자 단말(200)에 표시하고, 그에 대한 각 사용자 단말(200)의 동의 또는 선택 여부를 수집한 정보가 피드백 정보일 수 있다.

아래의 실시 예들은 피드백 정보가 질문 정보인 것을 전제로 하여 설명한다.

도 6을 참조하여, 부가 컨텐츠의 실시 예 및 부가 컨텐츠를 표시하도록 제어 신호를 전송하는 시점을 결정하는 방법의 실시 예를 설명한다.

일 실시 예에서, 교수 학습 지원 장치(100)는 사용자 단말기(200)의 적어도 일부에서 컨텐츠에 관한 복수의 질문 정보를 수신하고, 복수의 질문 정보에 기반하여 부가 컨텐츠를 생성할 수 있다. 예를 들어, 복수의 사용자 단말기(200)로부터 복수의 질문을 수신한 후, 수신된 복수의 질문을 리스트화하여 사용자 단말기(200)에 전송하고, 사용자 단말기(200)의 선택(선호도)에 따라 복수의 질문을 우선 순위화 한 후, 그 중 일부의 질문을 선택하여 부가 컨텐츠로 생성하여, 사용자 단말기(200) 및 교수자 단말기(300)에 결정된 질문을 표시하도록 제어 신호를 전송할 수 있다. 이러한 부가 컨텐츠를 확인한 교수자는 가상 오브젝트를 통하여 표시된 질문에 대하여 추가적인 설명을 진행한 후 다음 내용으로 이어갈 수 있다.

이 경우, 다수의 학습자들의 공통된 질문으로 많은 시간을 소비하거나, 능동적으로 강의에 참여하기 어려운 학생들이 간접적인 방식으로 강의에 능동적으로 참여할 수 있는 방법을 제공하고, 학습자들의 강의 이해를 돕는 효과가 있다.

일 실시 예에서, 교수 학습 지원 장치(100)는 교수자 단말기(300) 또는 교수자(301)의 음성 데이터를 수신하고, 음성 데이터를 텍스트 데이터로 변환한 후, 텍스트 데이터를 딥러닝에 기반한 학습 모델, 또는 단어를 추출하고 추출된 단어 중 현출된 빈도 수에 기반하여 워드 클라우드(word cloud) 형식(610)으로 부가 컨텐츠를 생성할 수 있다.

일 실시 예에서, 교수 학습 지원 장치(100)는 교수자 단말기(300)에서 업로드 된 컨텐츠에 포함된 단어(키워드)를 기준으로 워드 클라우드를 형성하거나, 단순히 교수자의 음성 데이터에 기반하여 워드 클라우드를 형성할 수 있다. 교수 학습 지원 장치(100)는 미리 설정된 시간 간격 또는 워드 클라우드에 포함된 단어의 빈도 수에 따라 현출 순위가 변경되는 경우에 워드 클라우드 내용을 변경하여 표시하도록 제어 신호를 전송함으로써, 컨텐츠의 진행에 따라 학습자들이 중요한 강의 내용을 시의 적절하게 시각적으로 이해할 수 있는 효과가 있다. 따라서, 학습자의 학습 능률을 향상시킬 수 있다.

예를 들어, 교수자 단말기(300)에서 업로드 된 컨텐츠에 포함된 단어(키워드)를 기준으로 워드 클라우드를 형성하는 경우, 컨텐츠 표시가 시작된 이후부터 현재까지의 컨텐츠 내용으로 워드 클라우드를 형성할 수 있다. 또는, 복수의 사용자 단말에서 컨텐츠의 현재 표시되는 페이지로부터 미리 설정된 범위 이내의 컨텐츠에 포함된 단어(키워드)를 기준으로 워드 클라우드를 형성할 수 있다. 미리 설정된 범위는 컨텐츠가 페이지로 구성된 경우 현재 표시되는 페이지로부터 일정 페이지 범위 앞 및/또는 뒤의 컨텐츠에 기반하여 워드 클라우드를 형성할 수 있다. 따라서, 컨텐츠의 진행에 따라 학습자들이 중요한 강의 내용을 시의 적절하게 시각적으로 이해할 수 있는 효과를 배가시킬 수 있다.

일 실시 예에서, 교수 학습 지원 장치(100)는 교수자 단말기(300)에서 수신한 음성 데이터에서 현출된 빈도수가 높은 키워드, 컨텐츠를 분석하여 현출된 빈도수가 높은 키워드 및 워드 클라우드의 키워드들 중 적어도 하나와 사용자 단말(200)에 현재 표시 중인 컨텐츠에 포함된 단어를 비교하여, 키워드와 일치하는 것으로 판단된 일부 단어를 다른 단어와 다르게 표시할 수 있고, 이는 단어의 형태적 크기가 다르거나 색깔을 다르게 표시하는 것일 수 있다. 예를 들어, 음성 데이터에 현출된 단어의 빈도 수에 기반하여 단어의 형태적 크기가 다르게 표시하면서도, 컨텐츠에 포함된 단어인 경우(유사어 포함) 색을 다르게 표시하도록 부가 컨텐츠를 생성할 수 있다. 혹은 그 반대로, 교수자 단말기(300)에서 업로드 된 컨텐츠 중에서 워드 클라우드에 포함된 일정 빈도 수 이상의 단어들을 색이나 형태를 다르게 표시하도록 컨텐츠를 수정함으로써, 학습자들이 중요한 강의 내용을 시의 적절하게 시각적으로 이해하도록 도움을 줄 수 있다.

교수 학습 지원 장치(100)는 생성한 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 생성 시점에 사용자 단말(200) 및 교수자 단말(300) 중 적어도 어느 하나에 전송하는 것이 아니라, 전송할 시점을 결정할 수 있다(620). 이러한 방식으로, 교수자의 강의 또는 발표 흐름을 방해하지 않거나, 학습자들의 이해가 부족한 경우를 교수자가 놓치지 않도록 함으로써 학습 능률을 향상시킬 수 있다.

일 실시 예에서, 교수 학습 지원 장치(100)는 복수의 사용자 단말(200)로부터 수신한 복수의 질문 정보에 기반하여 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 전송하는 시점을 결정할 수 있다. 예를 들어, 복수의 질문 정보에 포함된 단어의 현출 빈도를 산출하여 특정 단어의 현출 빈도가 일정 횟수를 넘어서거나, 복수의 질문 정보에 대한 사용자 단말(200)의 선호도 정보가 특정 질문 정보의 경우 일정 횟수를 넘어서는 경우, 학습자들이 컨텐츠 이해도가 부족한 것으로 판단하여 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 전송할 수 있다.

다른 실시 예에서, 교수 학습 지원 장치(100)는 교수자 단말기(300)에서 수신한 음성 데이터 또는 컨텐츠의 컨텍스트(context)에 기반하여 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 전송하는 시점을 결정할 수 있다. 예를 들어, 교수 학습 지원 장치(100)는 교수자 단말기(300)에서 수신한 음성 데이터 중 강의를 설명하는 내용과 질문을 독려하는 내용을 구분하여 질문을 독려하는 내용이라고 판단하는 경우 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 전송할 수 있다. 다른 예로서, 교수 학습 지원 장치(100)는 교수자가 제공한 컨텐츠에 대한 교수자 단말기(300)의 컨텐츠 표시 제어 신호에 따른 컨텐츠 변경을 모니터링 하면서, 컨텐츠의 전후 변경이 큰 시점(예를 들면, 챕터의 변경)을 판단하고 해당 시점에 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 전송할 수 있다. 이 경우, 컨텐츠의 각 페이지를 특정 챕터의 내용인지 다음 챕터의 시작인지를 레이블링한 훈련 데이터로 학습한 딥러닝 기반의 학습 모델에 컨텐츠의 진행에 따른 화면 이지미를 입력하여 전후 변경이 큰 시점을 판단할 수 있다. 또는, 컨텐츠의 챕터 표시에 해당하는 텍스트를 비교함으로써 전후 변경이 큰 시점을 판단할 수 있다.

도 7을 참조하여, 부가 컨텐츠의 실시 예 및 부가 컨텐츠를 표시하도록 제어 신호를 전송하는 시점을 결정하는 방법의 다른 실시 예를 설명한다.

일 실시 예에서, 교수 학습 지원 장치(100)는 사용자 단말기(200) 및 교수자 단말기(300)에서 획득한 영상 정보 혹은 영상 정보로부터 획득한 사용자와 교수자의 눈동자 움직임에 기반하여 부가 컨텐츠를 표시하도록 제어 신호를 전송하는 시점을 결정할 수 있다.

예를 들어, 교수 학습 지원 장치(100)는 교수자 단말기(300)의 교수자 눈동자 움직임으로부터 현재 교수자가 설명하는 컨텐츠의 위치인 제1 위치 정보(710a, 710b)를 결정할 수 있다. 더불어, 교수 학습 지원 장치(100)는 사용자 단말기(200)의 학습자 눈동자 움직임으로부터 현재 학습자들이 주시하는 컨텐츠의 위치인 제2 위치 정보(720a, 720b)를 결정할 수 있다. 제1 위치 정보 및 제 2 위치 정보는 좌표로 결정될 수도 있고, 일정 시간 간격 동안의 눈동자 움직임에 기반한 영역으로 결정될 수도 있다.

이후 교수 학습 지원 장치(100)는 제1 위치 정보 및 제 2 위치 정보의 거리, 중첩 정도 등에 기반하여 학습자들이 교수자의 강의를 잘 이해하는 지 판단할 수 있다. 예를 들어, 도 7 (a)와 같이 제1 위치 정보 및 제 2 위치 정보가 영역으로 결정되고, 두 영역의 중첩 정도가 미리 설정된 기준을 넘어서는 경우, 교수자가 설명하는 내용을 학습자가 잘 이해하는 것으로 판단할 수 있다. 반대로, 도 7 (a)와 같이 제1 위치 정보 및 제 2 위치 정보가 영역으로 결정되고, 두 영역의 중심점의 거리가 미리 설정된 기준을 넘어서거나 중첩되는 부분이 없는 경우, 교수자가 설명하는 내용을 학습자가 잘 이해하지 못 하는 것으로 판단하여, 부가 컨텐츠를 표시하도록 제어 신호를 전송할 수 있다. 이 경우, 부가 컨텐츠로서 제2 위치 정보를 표시하면서 "학습자들이 이해하지 못하고 있습니다"라는 표시를 하거나, 사용자 단말기(200)들로부터 수신한 질문 정보를 부가 컨텐츠로서 표시할 수 있다.

다른 실시예로서, 교수 학습 지원 장치(100)는 사용자 단말기(200)에서 획득한 영상 정보 혹은 영상 정보로부터 획득한 사용자의 표정에 기반하여 부가 컨텐츠를 표시하도록 제어 신호를 전송하는 시점을 결정할 수 있다.

예를 들어, 사용자 단말기(200)에서 획득한 얼굴 이미지를 딥러닝 기반의 학습 모델에 입력하여 표정을 판단하여, 다수의 사용자가 이해하지 못하는 표정, 곤란한 표정 등의 부정적 이미지로 판단되는 경우 "학습자들이 이해하지 못하고 있습니다"라는 표시를 하거나, 사용자 단말기(200)들로부터 수신한 질문 정보를 부가 컨텐츠로서 표시할 수 있다.

전술한 본 개시는, 프로그램이 기록된 매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 매체는, 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 매체의 예로는, HDD(Hard Disk Drive), SSD(Solid State Disk), SDD(Silicon Disk Drive), ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 상기 컴퓨터는 각 장치의 프로세서를 포함할 수도 있다.

한편, 상기 프로그램은 본 개시를 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 통상의 기술자에게 공지되어 사용 가능한 것일 수 있다. 프로그램의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함될 수 있다.

본 개시의 명세서(특히 특허청구범위에서)에서 "상기"의 용어 및 이와 유사한 지시 용어의 사용은 단수 및 복수 모두에 해당하는 것일 수 있다. 또한, 본 개시에서 범위(range)를 기재한 경우 상기 범위에 속하는 개별적인 값을 적용한 발명을 포함하는 것으로서(이에 반하는 기재가 없다면), 발명의 상세한 설명에 상기 범위를 구성하는 각 개별적인 값을 기재한 것과 같다.

본 개시에 따른 방법을 구성하는 단계들에 대하여 명백하게 순서를 기재하거나 반하는 기재가 없다면, 상기 단계들은 적당한 순서로 행해질 수 있다. 반드시 상기 단계들의 기재 순서에 따라 본 개시가 한정되는 것은 아니다. 본 개시에서 모든 예들 또는 예시적인 용어(예들 들어, 등등)의 사용은 단순히 본 개시를 상세히 설명하기 위한 것으로서 특허청구범위에 의해 한정되지 않는 이상 상기 예들 또는 예시적인 용어로 인해 본 개시의 범위가 한정되는 것은 아니다. 또한, 통상의 기술자는 다양한 수정, 조합 및 변경이 부가된 특허청구범위 또는 그 균등물의 범주 내에서 설계 조건 및 인자(factor)에 따라 구성될 수 있음을 알 수 있다.

따라서, 본 개시의 사상은 상기 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 개시의 사상의 범주에 속한다고 할 것이다.

100: 교수 학습 지원 장치
101: 컨텐츠
103: 제2 디스플레이 장치
200: 사용자 단말
300: 교수자 단말
610: 워드 클라우드 부가 컨텐츠
620: 부가 컨텐츠 제공 시점
710: 제1 위치 정보
720: 제2 위치 정보

Claims (14)

1. 각 단계가 프로세서에 의해 수행되는 방법으로서,
   복수의 사용자 단말 및 교수자 단말기의 접속 절차를 처리하는 단계;
   상기 복수의 사용자 단말에 컨텐츠를 전송하는 단계;
   가상의 학생 모습인 가상 오브젝트를 생성하여 상기 복수의 사용자 단말 또는 상기 교수자 단말기에서 상기 가상 오브젝트를 표시하도록 요청하는 제어 신호를 상기 복수의 사용자 단말 또는 상기 교수자 단말기에 전송하는 단계;
   상기 복수의 사용자 단말 중 적어도 일부에서 실시간으로 수집한 정보, 상기 컨텐츠 및 상기 교수자 단말기에서 수신한 실시간 음성 데이터 중 적어도 하나에 기반하여 부가 컨텐츠를 생성하는 단계; 및
   상기 복수의 사용자 단말 또는 상기 교수자 단말기에서 상기 가상 오브젝트가 상기 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 상기 복수의 사용자 단말 또는 상기 교수자 단말기에 전송하는 단계를 포함하며,
   상기 복수의 사용자 단말 중 적어도 일부에서 강의에 관한 복수의 질문 정보 및 상기 복수의 질문 정보에 대한 상기 복수의 사용자 단말의 선호도 정보를 수신하고,
   상기 복수의 질문 정보에 포함된 단어의 현출 빈도 또는 상기 복수의 질문 정보들중 특정 질문 정보에 대한 선호도 정보에 기반하여 상기 부가 컨텐츠를 상기 복수의 사용자 단말 및 상기 교수자 단말기에 전송하는 시점을 결정하는,
   교수 학습 지원 방법.
   
2. 각 단계가 프로세서에 의해 수행되는 방법으로서,
   복수의 사용자 단말의 접속 절차를 처리하는 단계;
   제1 디스플레이 장치에 교수자가 제공한 컨텐츠를 표시하는 단계;
   상기 복수의 사용자 단말 중 적어도 일부에서 수집한 정보, 상기 컨텐츠 및 상기 교수자의 음성 데이터 중 적어도 하나에 기반하여 부가 컨텐츠를 생성하는 단계; 및
   제2 디스플레이 장치에 상기 부가 컨텐츠를 표시하는 단계를 포함하며,
   상기 부가 컨텐츠는 사운드 또는 시각화 요소로 표시되는 가상의 학생 또는 가상의 오브젝트를 포함하고,
   상기 복수의 사용자 단말 중 적어도 일부에서 강의에 관한 복수의 질문 정보 및 상기 복수의 질문 정보에 대한 상기 복수의 사용자 단말의 선호도 정보를 수신하고,
   상기 복수의 질문 정보에 포함된 단어의 현출 빈도 또는 상기 복수의 질문 정보들중 특정 질문 정보에 대한 선호도 정보에 기반하여 상기 부가 컨텐츠를 상기 복수의 사용자 단말 및 교수자 단말기에 전송하는 시점을 결정하는,
   교수 학습 지원 방법.
   
3. 프로세서; 및
   상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
   상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
   복수의 사용자 단말 및 교수자 단말기의 접속 절차를 처리하고, 상기 복수의 사용자 단말에 컨텐츠를 전송하고, 가상의 학생 모습인 가상 오브젝트를 생성하여 상기 복수의 사용자 단말 또는 상기 교수자 단말기에서 상기 가상 오브젝트를 표시하도록 요청하는 제어 신호를 상기 복수의 사용자 단말 또는 상기 교수자 단말기에 전송하고, 상기 복수의 사용자 단말 중 적어도 일부에서 수집한 정보, 상기 컨텐츠 및 상기 교수자 단말기에서 수신한 음성 데이터 중 적어도 하나에 기반하여 부가 컨텐츠를 생성하고, 상기 복수의 사용자 단말 또는 상기 교수자 단말기에서 상기 가상 오브젝트가 상기 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 상기 복수의 사용자 단말 또는 상기 교수자 단말기에 전송하도록 야기하는 코드를 저장하며,
   상기 메모리는 상기 복수의 사용자 단말 중 적어도 일부에서 강의에 관한 복수의 질문 정보 및 상기 복수의 질문 정보에 대한 상기 복수의 사용자 단말의 선호도 정보를 수신하고, 상기 복수의 질문 정보에 포함된 단어의 현출 빈도 또는 상기 복수의 질문 정보들중 특정 질문 정보에 대한 선호도 정보에 기반하여 상기 부가 컨텐츠를 상기 복수의 사용자 단말 및 상기 교수자 단말기에 전송하는 시점을 결정하는 코드를 저장하는,
   교수 학습 지원 장치.
   
4. 제3 항에 있어서,
   상기 메모리는 상기 프로세서로 하여금,
   상기 복수의 사용자 단말 중 적어도 일부에서 컨텐츠에 관한 복수의 피드백 정보를 수신하고, 상기 복수의 피드백 정보에 기반하여 상기 부가 컨텐츠를 생성하도록 야기하는 코드를 더 저장하는,
   교수 학습 지원 장치.
   
5. 제4 항에 있어서,
   상기 메모리는 상기 프로세서로 하여금,
   상기 복수의 사용자 단말 중 적어도 일부에서 강의에 관한 복수의 피드백 정보를 수신하여 상기 복수의 사용자 단말에 표시하도록 요청하는 제어 신호를 상기 복수의 사용자 단말에 전송하고, 상기 복수의 사용자 단말 중 적어도 일부에서 상기 복수의 피드백 정보에 대한 선호도 정보를 수신하고, 상기 선호도 정보에 기반하여 상기 복수의 피드백 정보의 우선 순위를 설정하고, 상기 우선 순위에 기반하여 상기 복수의 피드백 정보 중 적어도 일부를 상기 부가 컨텐츠로 생성하도록 야기하는 코드를 더 저장하는,
   교수 학습 지원 장치.
   
6. 제3 항에 있어서,
   상기 메모리는 상기 프로세서로 하여금,
   상기 부가 컨텐츠를 표시하도록 요청하는 제어 신호를 상기 복수의 사용자 단말 및 상기 교수자 단말기에 전송하는 시점을 결정하도록 야기하는 코드를 더 저장하는,
   교수 학습 지원 장치.
   
7. 제6 항에 있어서,
   상기 메모리는 상기 프로세서로 하여금,
   상기 교수자 단말기에서 수신한 상기 음성 데이터 또는 상기 컨텐츠 의 컨텍스트에 기반하여 상기 부가 컨텐츠를 상기 복수의 사용자 단말 및 상기 교수자 단말기에 전송하는 시점을 결정하도록 야기하는 코드를 더 저장하는,
   교수 학습 지원 장치.
   
8. 삭제
9. 제6 항에 있어서,
   상기 메모리는 상기 프로세서로 하여금,
   상기 교수자 단말기의 사용자의 눈동자 움직임에 기반하여 상기 컨텐츠에서 제1 위치 정보를 결정하고, 상기 복수의 사용자 단말 중 적어도 일부의 사용자의 눈동자 움직임에 기반하여 상기 컨텐츠에서 제2 위치 정보를 결정하고, 상기 제1 위치 정보와 상기 제2 위치 정보의 유사성에 기반하여 상기 부가 컨텐츠를 상기 복수의 사용자 단말 및 상기 교수자 단말기에 전송하는 시점을 결정하도록 야기하는 코드를 더 저장하는,
   교수 학습 지원 장치.
   
10. 제6 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 복수의 사용자 단말 중 적어도 일부에서 상기 복수의 사용자 단말의 사용자들의 얼굴 이미지를 수신하고, 상기 복수의 사용자 단말의 사용자들의 얼굴 이미지를 딥러닝 기반의 학습 모델에 입력하여 표정을 판단하고, 상기 복수의 사용자 단말의 사용자들의 상기 표정에 기반하여 상기 부가 컨텐츠를 상기 복수의 사용자 단말 및 상기 교수자 단말기에 전송하는 시점을 결정하도록 야기하는 코드를 더 저장하는,
    교수 학습 지원 장치.
    
11. 제3 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 교수자 단말기에서 수신한 음성 데이터 또는 상기 컨텐츠에 기반하여 워드 클라우드를 상기 부가 컨텐츠로서 생성하도록 야기하는 코드를 더 저장하고,
    상기 워드 클라우드는 상기 컨텐츠의 진행에 따라 변경되는,
    교수 학습 지원 장치.
    
12. 제11 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 교수자 단말기에서 수신한 음성 데이터에서 현출된 빈도수가 높은 키워드, 상기 컨텐츠를 분석하여 현출된 빈도수가 높은 키워드 및 상기 워드 클라우드에 포함된 키워드 중 적어도 하나를 상기 컨텐츠에서 판단하고, 상기 복수의 사용자 단말로 상기 키워드가 강조된 상기 컨텐츠를 전송하도록 야기하는 코드를 더 저장하는,
    교수 학습 지원 장치.
    
13. 제11 항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 복수의 사용자 단말에서 상기 컨텐츠의 현재 표시되는 페이지로부터 미리 설정된 범위 이내의 상기 컨텐츠로부터 상기 워드 클라우드를 상기 부가 컨텐츠로서 생성하도록 야기하는 코드를 더 저장하는,
    교수 학습 지원 장치.
    
14. 프로세서; 및
    상기 프로세서와 전기적으로 연결되고, 상기 프로세서에서 수행되는 적어도 하나의 코드(code)가 저장되는 메모리를 포함하고,
    상기 메모리는 상기 프로세서를 통해 실행될 때 상기 프로세서가,
    복수의 사용자 단말의 접속 절차를 처리하고, 제1 디스플레이 장치에 교수자가 제공한 컨텐츠를 표시하고, 상기 복수의 사용자 단말 중 적어도 일부에서 수집한 정보, 상기 컨텐츠 및 상기 교수자의 음성 데이터 중 적어도 하나에 기반하여 부가 컨텐츠를 생성하고, 제2 디스플레이 장치에 상기 부가 컨텐츠를 표시하도록 야기하는 코드를 저장하며,
    상기 메모리는 상기 복수의 사용자 단말 중 적어도 일부에서 강의에 관한 복수의 질문 정보 및 상기 복수의 질문 정보에 대한 상기 복수의 사용자 단말의 선호도 정보를 수신하고, 상기 복수의 질문 정보에 포함된 단어의 현출 빈도 또는 상기 복수의 질문 정보들중 특정 질문 정보에 대한 선호도 정보에 기반하여 상기 부가 컨텐츠를 상기 복수의 사용자 단말 및 교수자 단말기에 전송하는 시점을 결정하는 코드를 저장하는,
    교수 학습 지원 장치.
    
    

Images