KR102640034B1 - 시험 문제 자동 출제 방법 - Google Patents

Abstract

본 발명은 시험 문제 자동 출제 방법에 관한 것으로서, 시험 문제를 자동으로 출제하는 서버에 접속해서 응시자가 상기 시험에 응시하는 단계; 출제자가 출제한 시험 문제와 응시자의 시험 결과를 채점하여 저장하는 기록 단계; 상기 기록 단계에서 마련된 시험 결과에 대한 데이터를 분류하는 분류 단계; 를 포함하고,
상기 분류된 문제를 실전 시험 문제에 반영하거나 또는 연습 문제로 반영하여 시험 문제 자동 출제 방법을 제공하여 출제자는 시험 문제 출제에 대한 부담을 덜고, 응시자는 자신의 역량을 테스트하고 부족한 단원을 보완하는 기회를 제공 받을 수 있다.

Description

시험 문제 자동 출제 방법{Automatic setting questions for examination}

본 발명은 시험 문제 자동 출제 방법에 관한 것으로서, 보다 구체적으로는 각 응시자에게 비대면으로 시험 문제를 제공하는 문제은행 방식의 시험 문제 자동 출제 방법에 관한 것이다.

최근에는, 컴퓨터, 전자, 통신 기술이 비약적으로 발전함에 따라 컴퓨터 및 통신 기술을 이용한 온라인 평가 시험이 새로운 평가 방법으로 각광받고 있다. 온라인 평가 시험은 공간의 제약을 없애고 결과 처리도 용이하여 점차 그 활용 범위가 확대되고 있다. 또한, 원격 강의 서비스가 널리 활용되면서 원격 강의와 더불어 온라인 평가 시험도 그 적용 영역이 더욱 넓어지고 있다.

이와 같은 온라인 평가 시험은 문제은행 방식으로 출제될 수 있다. 문제은행은 많은 문제를 한 곳에 모아 데이터베이스를 구축해 놓고, 데이터베이스에서 문제를 출제하기 때문에 자동으로 출제가 가능하다. 또한, 문제은행을 이용한 출제 방식은 신속하게 문제를 출제할 수 있고 난이도 조절이 용이할 뿐 아니라 효율적으로 평가 시험의 출제가 가능하기 때문에 널리 사용되고 있다. 특히, 최근에는 온라인 평가 문제를 이용하여 셀프테스트를 수행하는 경우도 있어, 문제은행 방식의 온라인 평가 문제는 더욱 널리 사용되고 있다.

대한민국 등록 특허 제10-0675942호

시험은 응시자의 학습 능력 또는 자격 검증을 위하여 시행되는 제도로서 응시자의 실력을 평가하는 것이 주목적이다. 기존의 시험 문제 출제는 응시자별로 시험 선택지를 다르게 배열하는 수준이였고, 응시자의 수험 능력이 진보할 수 있도록 대안을 제시해주지 못하였다.

본 발명은 문제은행 데이터 베이스에 기반한 시험 문제와 응시자 개개인에 맞춰 반복된 학습을 제공하고자 한다. 이에 더해 출제자의 시험 출제에 대한 수고를 덜 수 있도록 데이터 베이스를 기반으로 하여 자동 시험 문제 출제 방법을 제시할 수 있다.

본 발명은 시험 문제를 자동으로 출제하는 서버에 접속해서 응시자가 상기 시험에 응시하는 단계; 출제자가 출제한 시험 문제와 응시자의 시험 결과를 채점하여 저장하는 기록 단계; 상기 기록 단계에서 마련된 시험 결과에 대한 데이터를 분류하는 분류 단계; 를 포함하고,

상기 분류된 문제를 실전 시험 문제에 반영하거나 또는 연습 문제로 반영하여 출제하는 시험 문제 자동 출제 방법을 제공할 수 있다.

본 발명은 시험 문제를 과목 및 단원별 세분화할 수 있고, 이를 응시자의 수험 역량을 평가하기 위하여 제공할 수 있다.

또한, 다수의 응시자가 참여한 시험 문제의 정답률에 따라 분류하는 제1 분류 단계와, 시험 출제자 의도의 난이도에 따라 분류하는 제2 분류 단계를 통해 시험 문제를 출제하여 응시자의 학습 능력 평가시 보다 공정한 시험이 이루어질 수 있다.

또한, 연습 시험시, 연습 시험 문항별 풀이 제한 시간이 주어질 수 있고, 응시자 개인은 각 문항별 제한 시간을 초과하지 않고 잔여 시간에 따라 가산점을 제공해줄 수 있으므로, 연습 시험을 응시하는 응시자는 보다 독려된 상태로 연습 시험에 임할 수 있고, 그에 따라 본인의 학습 능력이 향상될 수 있으며, 실제 시험시 정답률을 높일 수 있다.

또한, 본 발명은 비대면 상태인 온라인 방식으로 시험을 시행할 수 있기 때문에, 최근 코로나 바이러스의 유행에 대응하여 코로나 바이러스 전염을 예방할 수 있다.

도1 은 본 발명의 자동 시험 문제 출제 방법을 구현하기 위한 구성도이다.
도2 는 응시자의 문제 풀이 과정에 관한 개략도이다.

본 발명은 시험 문제 자동 출제 방법에 관한 것으로서 시험 문제를 자동으로 출제하는 서버(100)에 접속해서 응시자가 시험에 응시하는 단계, 출제자가 출제한 시험 문제와 응시자의 시험 결과를 채점하여 저장하는 기록 단계(120), 기록 단계(120)에서 마련된 시험 결과에 대한 데이터를 분류하는 분류 단계(130)를 포함하여 분류된 문제를 실전 시험 문제에 반영하거나 또는 연습 문제로 반영하여 시험 문제가 자동 출제 되는 방법이 마련될 수 있다.

응시 단계에서 응시자는 단말기(300)를 통해 서버(100)에 접속할 수 있다. 서버(100)에는 응시자의 신분을 확인하는 로그인 단계(110)가 마련될 수 있다. 단말기(300)는 예를 들어 스마트폰, 타블렛 또는 PC와 같은 네트워크 접속이 가능한 기계 중 하나일 수 있다.

단말기(300)에는 서버(100)에 접속하여 응시자에게 문제를 전달하고 응시자가 제출하는 답안을 서버(100)에 전송하는 어플리케이션(310)이 설치될 수 있다.

문제의 난이도에 따라 문항을 분류할 수 있다. 또한 응시자 개인마다 체감하는 난이도는 각 문항별로 다르게 나뉠 수 있다. 응시자 대다수가 공통적으로 어려움을 느끼는 단원을 분류할 필요가 있다. 출제자에게 응시자 시험 결과 정보를 제공하여 출체자가 이를 참고하여 시험 문제의 난이도를 조절할 수 있다. 또한 응시자 시험 결과 정보를 교수 또는 강사 등의 교직자에게 제공할 수 있고, 정보를 제공받은 교직자가 이를 참고하여 다수의 응시자들이 어려워 하는 단원을 케어 하는 등 커리큘럼을 구성할 때 활용할 수 있다. 따라서 이를 위한 분류 단계(130)는 다음과 같을 수 있다.

분류 단계(130)는 기록 단계(120)에서 응시자의 시험 결과를 분석하여 단원별 정답률에 따라 문항을 분류하는 제1 분류 단계(131), 출제자 의도의 난이도에 따라 분류되는 제2 분류 단계(132)를 포함하고, 제1 분류 단계(131) 또는 제2 분류 단계에서 시험 문제를 추출하거나, 제1 분류 단계(131) 및 제2 분류 단계(132)를 매칭시켜서 시험 문제를 추출할 수 있다.

제1 분류 단계(131)는 응시자가 연습 시험 과정을 반복하여 누적된 데이터를 기반으로 마련될 수 있다. 제2 분류 단계(132)는 출제자의 의도가 기준이 되는 분류 단계로서 출제자의 주관에 따라 분류될 수 있다.

출제자는 시험 문제를 제1 분류 단계(131)에서 마련된 문항만으로 구성되도록 할 수 있으며, 또는 제2 분류 단계(132)에서 마련된 문항만으로 출제되도록 할 수도 있다. 이에 더해 제1 분류 단계(131) 및 제2 분류 단계(132)에서 일정 문항을 선별하여 추출되도록 할 수도 있다. 출제자는 시험 문제의 난이도 조절을 위해서 제1 분류 단계(131) 및 제2 분류 단계(132)에서 마련되는 문항의 난이도 기준을 마련하여 이를 서버(100)에 반영할 수 있다. 이를 위해, 출제 단계(140)에서 다수의 응시자를 대상으로 응시자 모두에게 공통된 문항을 제공하여 형평성의 문제가 발생하지 않는 제1 출제 단계(141)가 마련될 수 있다.

제1 출제 단계(141) 외에 응시자에게 연습 문제 풀이를 할 수 있는 기회를 제공하고 결과를 분석하여 난이도 조절 등에 활용하며 응시자 각 개인에게 연습 시험 문제를 제공하는 제2 출제 단계(142)가 마련될 수 있다.

또한 제1 출제 단계(141) 또는 제2 출제 단계(142)에 더해 보다 세분화되는 석차가 마련될 필요가 있을 수 있다.

많은 연습 과정을 통해 답안을 제한 시간 이내에 추론하는 것이 제한 시간을 모두 소비하는 응시자 보다 학업 성취 역량에 있어 보다 우위에 있음을 평가하는 잣대가 될 수 있다. 이를 반영하여 제2 출제 단계(142)에서 각 연습 시험 문항별 배점과 풀이 제한 시간을 두고 제한 시간을 초과하지 않고 잔여 시간에 따라 문항을 풀어서 정답을 맞추는 응시자에게 가산점을 제공하는 제3 출제 단계(143)가 마련될 수 있다. 응시자는 문항별 제한 시간을 모두 소비하지 않고 문제를 해결하는 것이 고득점에 바람직할 수 있다.

응시자는 단말기(300)를 통해서 서버(100)에 접속 및 시험에 응시할 수 있다. 단말기(300)는 예를 들어 스마트폰, 타블렛 또는 PC 등의 네트워크를 활용할 수 있는 장치일 수 있다. 단말기(300)에는 서버(100) 접속, 시험 접수, 시험 응시 및 결과 확인을 할 수 있는 어플리케이션(310)이 마련될 수 있다.

응시자는 단말기(300)로 시험에 응시할 수 있으므로 장소에 구속되지 않고 시험에 응시할 수 있는 장점이 있다. 다만, 장소에 구속되지 않고 시험에 응시할 수 있는 만큼 부정행위에 대한 염려는 더욱 높을 수밖에 없다. 따라서 이를 방지할 수단이 필요할 수 있다. 단말기(300)에는 응시자의 부정행위를 방지 또는 적발할 수 있는 검수 과정으로서 제1 검수 단계(320)가 마련될 수 있다. 제1 검수 단계(320)는 어플리케이션(310)에 내재되는 기능으로 마련될 수 있다.

제1 검수 단계(320)는 응시기기 예를 들어 스마트폰을 활용할 경우 스마트폰 카메라, 마이크 또는 화면 녹화 등을 활용하여 응시자의 행동을 관찰하고 기록할 수 있다. 다만 PC의 경우 카메라가 설치되어 있지 않은 것이 일반적이므로 본 발명의 시험 방법을 통해서 시험에 응시하기 위해서는 카메라가 구비된 PC로 시험에 응시하는 것이 바람직할 수 있다.

응시자가 스마트폰을 활용하여 시험에 응시할 경우, 부정행위를 방지하기 위한 검수로서 제1 검수 단계(320)는 카메라를 구동하여 응시자의 행동을 기록할 수 있다. 또한 화면 녹화 및 내재된 마이크로 주변 소음을 녹음할 수 있고 이를 서버(100)에 제공할 수 있다.

단말기(300)는 응시자의 행동들을 기록하여 서버(100)에 전송할 수 있고, 서버(100)는 부정행위의 여부에 관하여 판단할 수 있도록 데이터를 제공할 수 있다. 제1 검수 단계(320)는 카메라로 응시자의 시선방향을 추적할 수 있다. 제1 검수 단계(320)는 응시자가 시험 응시 중 화면 외의 다른 곳을 일정 시간 이상 응시하는지 여부를 판단할 수 있다. 제1 검수 단계(320)는 부정행위에 주의하라는 메세지를 화면에 표시하여 응시자의 주의를 환기시키는 역할을 할 수 있다.

카메라를 활용한 검수 외에 제1 검수 단계(320)는 마이크를 활용하여 응시자 주변 소음을 감지할 수 있고 응시자의 음성 또는 타인의 음성을 감지할 수 있다. 제1 검수 단계(320)는 감지된 음성을 서버(100)에 전송할 수 있다. 추후 출제자 또는 감독관은 전송받은 음성 기록을 확인할 수 있으며 이를 부정행위 여부에 대한 판단의 근거로 활용할 수 있다.

서버(100)에는 응시자의 부정행위 여부를 판단할 수 있는 근거로서 제2 검수 단계(200)가 마련될 수 있다. 제2 검수 단계(200)에는 제1 검수 단계(320)로부터 전송받은 화면기록 또는 녹음등의 기록등이 저장될 수 있다. 제2 검수 단계(200)에는 제1 검수 단계(320)에서 실행된 동일한 검수 과정이 진행될 수 있다. 예를 들어 카메라 기록을 검수하여 응시자의 시선이 응시화면 외의 곳을 일정시간 이상 응시하는지 여부, 녹음 기록을 통해 주변 소음에서 응시자가 타인과 대화를 하는지 또는 타인의 음성이 일정 빈도 이상으로 개입되는지 여부를 검수할 수 있다.

제2 검수 단계(200)는 일정 시간 이상 화면 외 응시 또는 일정 빈도 이상의 타인의 목소리 개입이 확인되면 이를 출제자 또는 감독관이 확인할 수 있도록 리스트를 생성할 수 있다. 따라서 출제자 또는 감독관은 이를 확인하여 응시자의 부정행위 여부를 판단하는 근거 자료로 사용할 수 있다.

상기의 부정행위 방지를 위한 방법 외에 문제 은행을 활용한 부정행위 방지 방법이 마련될 수 있다. 수학 문제의 경우 상수값이 변경된다 하여도 풀이 과정이 동일하기에 답안을 도출하는데 차이가 없을 수 있고 이를 이용하여 응시자의 수학 문제 상수 값을 다르게 구성하여 응시자별 답안이 다르게 마련될 수 있다. 이 외에 객관식 문항의 경우 보기의 순서를 응시자마다 다르게 문항을 구성할 수 있다.

자동 시험 문제를 이용하기 위한 첫 단계로서 응시자는 개별 아이디를 사용하여 서버(100)에 접속할 수 있다. 서버(100)에는 문제은행 방식의 기록 단계(120)가 마련될 수 있다. 출제자는 과목별 또는 단원별로 시험 문제를 출제하여 서버(100)에 시험 문제를 데이터 베이스화 할 수 있다. 서버에는 응시자의 수험 기록 및 데이터 베이스를 기반으로 하는 기록 단계가 마련될 수 있다. 응시자는 서버(100)에 접속하여 기록 단계(120)에 저장된 문제를 풀어볼 수 있다.

서버(100)는 응시자의 풀이 과정 및 답안을 수집할 수 있고 응시자가 틀리는 문항의 단원을 분석할 수 있고, 응시자의 취약한 단원을 분석하여 개별적으로 제공할 수 있다. 또한 이를 기록 단계(120)에 기록하여 응시자 맞춤 문제은행을 구축할 수 있다.

100...서버 110...로그인 단계
120...기록 단계 130...분류 단계
131...제1 분류 단계 132...제2 분류 단계
140...출제 단계 141...제1 출제 단계
142...제2 출제 단계 143...제3 출제 단계
200...제2 검수 단계 300...단말기
310...어플리케이션 320...제1 검수 단계

Claims (3)

1. 응시자 단말기가 시험 문제를 자동으로 출제하는 서버에 접속하는 응시 단계;
   상기 서버가 응시자 단말기의 시험 결과를 채점하여 저장하는 기록 단계;
   상기 서버는 상기 기록 단계의 시험 결과에 대한 데이터를 분류하는 분류 단계;
   상기 서버는, 상기 분류 단계의 분류된 시험 결과에 대한 데이터에 기초해, 실전 시험 문제 또는 연습 문제를 출제하는 출제 단계; 및
   상기 서버가 응시자 단말기를 통해 시험에 응시하는 응시자의 부정행위를 방지 또는 적발하는 검수 단계; 를 포함하고,
   상기 검수 단계는 제1 검수 단계 및 제2 검수 단계를 포함하며,
   상기 제1 검수 단계에서, 상기 서버는 부정 행위에 주의하라는 메세지를 상기 응시자의 단말기의 화면에 표시하며,
   상기 제1 검수 단계에서,
   상기 응시자 단말기는 카메라를 포함하는 촬영 장치를 이용해 응시자의 행동을 관찰하고 기록하거나, 마이크를 포함하는 녹음 장치를 이용해 주변 소리를 녹음하고,
   상기 응시자 단말기가 상기 촬영 장치 및 녹음 장치의 데이터를 상기 서버에 전송하면, 상기 서버는 부정 행위 여부를 판단하는 데이터를 상기 응시자 단말기에 제공하며,
   상기 서버는 상기 서버에 제공된 상기 촬영 장치 및 녹음 장치의 데이터를 부정 행위 판단의 근거 자료로 활용하고,
   상기 제1 검수 단계는 상기 응시 단계 또는 상기 응시 단계 이전에 수행되고,
   상기 제2 검수 단계는 상기 제1 검수 단계와 동일한 검수 과정이 실행되며,
   상기 제2 검수 단계는 상기 출제 단계 또는 상기 출제 단계 이후에 수행되고,
   상기 서버는 수학 문항의 상수 값을 다르게 구성하여 응시자별 답안이 다르게 마련하거나, 객관식 문항의 보기 순서를 응시자별로 다르게 구성하며,
   상기 분류 단계는 제1 분류 단계 및 제2 분류 단계를 포함하고,
   상기 제1 분류 단계에서, 상기 서버는 상기 기록 단계에서 상기 응시자의 시험 결과를 분석하여 단원별 정답률에 따라 문항을 분류하며,
   상기 제2 분류 단계에서, 상기 서버는 출제자 의도의 난이도에 따라 분류하고,
   상기 출제 단계에서, 상기 서버는,
   상기 제1 분류 단계 또는 상기 제2 분류 단계에 기초해 시험 문제를 추출하거나, 상기 제1 분류 단계 및 제2 분류 단계를 매칭시켜 시험 문제를 출제하며,
   상기 출제 단계는 제1 출제 단계, 제2 출제 단계, 및 제3 출제 단계를 포함하고,
   상기 제1 출제 단계에서, 상기 서버는 응시자의 단말기에 공통된 문항을 제공하고,
   상기 제2 출제 단계에서, 상기 서버는 응시자의 단말기에 상기 제1 출제 단계 외에 응시자에게 연습 문제 풀이를 하는 기회를 제공하고 결과를 분석하여 난이도 조절에 활용가능한 연습 시험 문제를 제공하며,
   상기 제3 출제 단계는 상기 제1 출제 단계 또는 제2 출제 단계에 더해 보다 세분화된 석차 마련에 이용되고,
   상기 제3 출제 단계에서, 상기 서버는,
   상기 제2 출제 단계에서 제공된 연습 시험 문제의 문항별 배점과 풀이 제한 시간을 두고, 제한 시간을 초과하지 않고 잔여 시간에 따라 문항을 풀어 정답을 맞추는 응시자의 단말기에 가산점을 제공하는 시험 문제 자동 출제 방법.
   
2. 삭제
3. 삭제