Abstract
An examinee’s ability can be evaluated precisely using computerized adaptive testing (CAT), which is shorter than written tests and more efficient in terms of the duration of the examination. We used CAT for the second General Examination of 98 senior students in medical college on November 27, 2004. We prepared 1,050 pre-calibrated test items according to item response theory, which had been used for the General Examination administered to senior students in 2003. The computer was programmed to pose questions until the standard error of the ability estimate was smaller than 0.01. To determine the students’attitude toward and evaluation of CAT, we conducted surveys before and after the examination, via the Web. The mean of the students’ability estimates was 0.3513 and its standard deviation was 0.9097 (range -2.4680 to +2.5310). There was no significant difference in the ability estimates according to the responses of students to items concerning their experience with CAT, their ability to use a computer, or their anxiety before and after the examination (p>0.05). Many students were unhappy that they could not recheck their responses (49%), and some stated that there were too few examination items (24%). Of the students, 79 % had no complaints concerning using a computer and 63% wanted to expand the use of CAT. These results indicate that CAT can be implemented in medical schools without causing difficulties for users.
셈틀(computer)을 교육 평가 분야에서 흔히 활용하면서, 점차 다양한 영역으로 활용 분야를 확대하고 있다. 이러한 셈틀을 활용한 각종 평가 시스템 가운데 셈틀이용 적응검사(Computerized Adaptive Testing, 이하 적응검사)는 수험생마다 수준에 맞게 각각 다른 문항을 제시하여 개별검사를 시행한다든지, 고전검사이론에 따른 시험보다 능력을 좀 더 정밀하게 측정한다든지, 검사 길이를 줄일 수 있고, 검사의 시행, 채점, 결과보고와 같은 절차를 단순화하고, 다양한 형태의 문항제작이 가능하다는 등 많은 장점을 갖고 있다. 그러나 그 실제 활용은 국내에서는 아직 활발하지 못한데 검사를 위해서는 사전에 충분한 양의 피험자를 대상으로 지필 검사나 셈틀기반검사(Computer-based testing)를 실시하고 문항반응이론(Item Response Theory)을 이용하여 문항모수값을 구하여 입력하는 동시에 프로그래밍 작업이 따라주어야 하기 때문이다[1]. 외국에서는 미국의 ETS (Educational Testing Services)를 비롯하여 대규모 학력 및 적성검사 분야에 있어서는 실용화되고 있고 보건의료 분야에서는 캐나다의 의사국가시험이나 미국의 간호사면허시험, 임상병리사면허시험 등에서 활용하고 있다. 그러나 아직 우리 나라에서는 TOEFL(Test of English as Foreign Language) 이나 TOEIC(Test of English for International Communication)을 다루는 학원에서 사용하고, 국가 단위 면허시험이나 성취도 검사에서는 활용하지 못하고 있으며 단지 부산대학교 교육학과에서 SPRT (Sequential Probability Ratio Testing) 방식을 기반으로 하는 적응검사를 시행하며 연구를 지속하고 있다[2]. 단편적인 연구나 프로그래밍은 소개된 것이 있으나 지속적으로 대학 단위 또는 학과 단위의 교육현장에서 적용하고 평가하는 내용은 위에 언급한 내용을 제외하고는 찾기가 쉽지 않다. 외국의 경우 일부 의과대학 학생들에게 선택적으로 적응검사를 시행한 예비연구가 있으나 우리 나라 의과대학 교육현장에서는 아직 시행 예가 없다[3,4]. 그러므로, 한림대학교 의과대학에서 2004년 11월 27일 의학과 4학년 대상 임상종합시험에서 국내 의과대학에서는 처음으로 적응검사를 시행하면서, 시험 전후 학생들의 태도 및 평가에 대한 설문조사를 시행하여 학생들의 새로운 시험체계에 대한 적응이나 수용도를 파악하고, 수용도 및 태도가 능력모수에 미치는 영향을 검사하였다. 이 연구의 결과를 바탕으로 적응검사를 시행할 때 어떤 과정이나 준비가 학생에게 더 필요한지 제시하려고 한다.
삼모수 로짓모형에 따라 웹기반(Web-based) 적응검사 프로그램을 개발하였고, 시작은 같은 문항을 모든 수험생에게 제시하고, 종료 규칙은 최소 60 문항이상을 풀도록 하고, 능력모수 추정의 표준오차가 0.01 미만이면 종료하도록 하였다. 이번에 시행한 적응검사는 검사소 없이 모든 문항을 독립된 문항으로 보고, 분야에 따른 문항 배정도 하지 않았다. 시험을 치르는 시간은 따로 제한을 두지 않았다. 시험 문항 데이터베이스는 2003년도 4학년 학생들을 대상으로 시행하였던 제 1 차 및 제 2 차 임상종합시험의 문항 1,050개를 가지고 삼모수 로짓모형에 따라 ICL(Item response theory Command Language)을 이용하여 문항난이도지수, 분별도지수 및 추측도지수를 추정하여 입력하였다[5].
2004년 11월 25-26일 한림대학교 의과대학 4학년 98 명 대상의 지필고사를 치른 뒤, 11월 27일 같은 학생을 대상으로 셈틀이용 적응검사를 시행하였다. 적응검사 전날 적응검사의 이론적 배경 등 전반적인 내용에 대해 약 30분간 설명하였고, 셈틀 운영상에 일시적인 오류가 발생하더라도 그 동안의 평가 내용은 소실되지 않으므로 다른 셈틀을 이용해서 충분히 시험을 계속할 수 있다는 점을 주지시켰다. 장소는 두 군데 피시실에 나누어 동시에 시행하였고, 시험 중간에 문제가 발생할 때는 손전화를 통하여 책임교원이 해결하였다. 학생들에게는 적응검사 전에 사전 설문 조사를 실시하였고, 시험을 마친 뒤 학생들에게 사후 설문 조사를 실시하였다[부록 1, 2]. 적응검사 뒤, 4 명의 수험생과 적응검사의 연구개발에 참여하였던 3 명의 교원이 한 시간 동안 적응검사에 대한 의견을 주고받았다. 각각의 설문 응답 항목에 따른 능력모수값 차이는 dBSTAT 4.0을 이용하여 일원분산 분석(Analysis of One Variance Analysis)으로 검정하였다[6].
사전 설문에서 71명(72.4%)이 적응검사에 대해 이해하고 있다고 하였고 18명(18.4%)은 이전에 이러한 방법의 시험을 치른 경험이 있다고 하였다. 71명(72.4%)이 평균 1주에 3시간 이상 셈틀을 사용하고 있다고 하였고, 65명(65.7%)이 적응검사에 대해 성적이 기존의 지필고사와 유사할 것이라고 생각하였으며, 37명(37.8%)이 불안감을 느꼈다(부록 1). 사후 설문에서 41명(41.8%)이 불안한 마음으로 시험을 치렀다고 하였고 2명(2.0%)은 시험의 난이도 면에서 너무 어려웠다고 하였다. 그러나 62명(63.2%)이 앞으로 이러한 시험을 확대해 갔으면 좋겠다고 하였으며, 60명(60.1%)이 이번 적응검사 성적이 기존 지필고사 성적과 유사할 것이라고 생각하였고, 64명(65.3%)이 이번 적응검사의 난이도가 보통이거나 쉬웠다고 하였다. 이번 적응시험에 대한 불만 사항으로는 내 실력을 평가하기에 문제 수가 너무 부족하다(24명), 한 번 푼 문제에 대해 확인해 볼 수가 없어서 불안하였다(48명), 본 시험 이전에 모의시험을 통한 연습이 부족했다(11명), 시험을 치르는 방 분위기가 너무 어수선했다(2명)고 하였으며 13명은 시험 방법에 대한 불만사항은 없었다고 답하였다. 적응검사에서 셈틀과 관련된 불편사항으로는 화면이 선명하지 않았거나(2명), 글씨 크기가 작았다(4명), 마우스 작동이 잘 안 되었다(6명), 화면 변환이 원활하게 되지 않았다(7명)등이 있었으며 77 명은 셈틀 작동과 관련된 불편사항은 없었다고 하였다(부록 2).
학생들의 능력모수 추정값은 평균 0.3513, 표준편차 0.9097이고 최하 -2.4680, 최고 2.5310까지 정규분포를 보였다. 시험에 대한 사전 이해정도(p=0.2578), 이전의 적응검사 경험 (p=0.6877), 평소의 셈틀사용량(P=0.5474), 시험에 대한 불안정도(p=0.7705)에 대한 사전 설문 결과에 따른 능력모수 추정값에는 유의한 차이가 없었고, 불안 정도에 대한 사후 설문 결과에 따른 능력 모수 추정값에도 유의한 차이가 없었다(p=0.5534).
시험을 치른 뒤 면담에서 학생들은 셈틀을 이용하여 적응검사를 치루는 것은 쉽게 이해할 수 있었으나, 셈틀을 이용하였는데도 멀티미디어를 활용한 문항이 적어 문항의 성격이 지필고사와 차이가 없었고, 하나의 지문에 하나의 문항만 제시하여 여러 분야의 연관된 문항을 제시하지 못하고, 과거에 출제된 문항이 나와서 평가의 의미가 떨어지는 것이 아닌가라는 등의 의견을 제시 하였다. 또한 적응검사 후 문항이 정확히 기억에 남지 않는다고 하였고, 시험이 빨리 끝나서 좋았고, 한번 푼 문항을 다시 볼 수 없다는 점이 불편하였다고 하였다.
의과대학에서 적응검사를 시행하여 연구 결과를 발표한 예는 찾기 어렵다. 벨기에에서 일반의 자격시험 전에 의대 졸업반 학생 50 명을 초빙하여 적응검사를 시행하고 타당도와 교육적인 효과 등을 관찰한 예에서 보면, 안면타당도와 교육적 효과 면에서 지필고사를 대체하기 어려웠으나, 본 시험에서 떨어질 사람을 판정하는 데는 유용하게 쓰일 수 있다고 하였으며, 유연한 검사를 치를 수 있는 실행 가능한 검사법이라고 하였다[3]. 또, 셈틀기반검사로 치른 내과 시험 문항을 적응검사에 적용하기 위한 University of Iowa의 연구에서 기존 문제 은행을 적응검사에서 사용할 수 있다고 하였다[4]. 그러나 이 두 예 모두 실제 교육 현장에서 적응검사를 시행한 것은 아니다. 적응검사에 대한 수험생의 반응이나 평가를 기술한 것으로 영국의 University of Hertfordshire에서 외국인 대상 영어 시험에 적응검사를 적용한 사례가 있다. 여기에서 한 학생이 동시에 치른 적응검사나 셈틀기반검사의 성적은 유의한 차이가 없었다. 수험생 대상 집중 면담에서 수험생들은 프로그램이 쉬어서 사전에 추가적인 공부가 필요 없었고, 사용자 환경도 이해하기 쉬었다고 하였으며, 이미 이전에 TOEFL 및 GMAT(Graduate Management Admission Council) 시험과 같은 적응검사에 노출되었으며, 학습성취도를 총점 대신 능력모수로 산출하는 데 특별한 차이를 느끼지 못하였다. 또, 적응검사에서 문항마다 난이도가 다른 것을 고려하여 능력 모수를 추정하는 것이 합리적이라고 하였으나, 이전 시험 문항으로 되돌아가서 검토하지 못한다는 점을 지적하기도 하였고, 반면 이런 맞춤시험이 개인이 공부하는 동기나 열정을 증가시킨다고 하였다. 또한 종료 규칙에서 시간제한과 문항수 조합이 적당하다고 하였고 능력모수의 표준오차로 종료시키는 것은 뛰어난 학생에게는 좋으나 하위 학생에게는 시간을 더 주는 것이 좋다고 하였다[7].
우리나라 의과대학에서도 이러한 새로운 형태의 시험을 시행하는 입장에서, 학생의 반응을 확인하기 위하여 시험 전, 후에 설문조사를 시행하였는데 대부분의 학생들이 평소 셈틀을 사용하고 있었고, 이전에 이러한 방법의 시험을 치른 경험이 있는 경우도 있어 시험 자체에 대한 이해는 잘 하고 있었다. 학생들은 적응검사에 대해 불안을 가지고 있었으나 그 정도에 따라 성적이 크게 차이가 나지는 않았고 시험을 치른 학생의 63%가 이러한 형태의 시험을 확대해 나가기를 기대하고 있어 적응검사 자체에 대한 불안이 컸다기보다는 시험 자체에 대한 불안일 가능성이 있어 추후에 확인이 필요하다. 즉, 이러한 불안이 일반적인 지필고사에서도 나타날 수 있는 정도의 불안도 수준인지 점검이 필요하므로 반드시 적응검사이기 때문에 불안하다고 판단할 수는 없다. 이론적으로 적응검사는 각 학생의 능력에 근접한 문제들이 출제되어 대부분의 학생들이 시험이 보편적인 난이도를 보인다고 느끼게 되는데, 이번 적응검사에서도 대다수의 학생들이 보통이라고 느끼고 2명의 경우만 너무 어려웠다고 하였다. 적응검사는 매 문항에 답을 할 때마나 선택한 답이 맞는 지를 묻고 확인을 해야 다음 문항으로 넘어갈 수 있도록 프로그래밍 하였다. 학생들이 가장 불편해 한 점은 한 번 본 문제에 대해 추후에 다시 확인을 할 수 없다는 점이었다. 이는 기존의 지필고사에 익숙한 학생들에게는 당연한 요구라고 여기지나 전체 문항을 해결 한 후에 다시 앞의 문항으로 가는 경우 적응검사의 특성 상 그 문제를 맞거나 혹은 틀린 것에 따라 그 이후 문제의 선택과 능력모수 추정치에 영향을 주므로 이전에 표시한 답을 바꾸는 것은 불가능하다. 또, 임상현장과 연관짓는다면 이렇게 뒤로 가서 문항을 다시 풀지 못하도록 하는 것이 더 현실에 맞는 것이다. 즉, 환자에 대한 판단이나 의사결정을 하고 처방이나 수술을 하면 그 사실은 불가역적으로 다시 뒤로 돌아갈 수는 없다. 그러므로 의학교육이나 의학교육 평가의 목적을 달성함에 있어서 한번 결정한 것을 다시 돌아가서 재검하지 못하도록 하는 것이 더 타당할 것이다.
설문의 각 문항에 대한 선택 차이가 능력모수와는 전혀 상관이 없었다는 것은, 결국 설문에서 제시한 몇 가지 수험생의 사전 속성이 능력모수 추정값과 무관하다는 것이고 이런 속성이 적응검사를 치르는 데 어떠한 영향력도 끼치지 않는다고 판단할 수 있다. 이는 이미 셈틀을 이용하는 것이 워낙 익숙하기에 단지 시험 문항이 셈틀 화면에 나온다는 점 말고는 지필고사 치르는 환경과 큰 차이가 없었기 때문일 것이다. 즉, 사전 준비에서 수험생 집단 내에 큰 차이를 보일만한 요소가 없었다고 해석할 수 있으며, 설문 자체가 적응검사에 대한 수험생의 사전 사후 태도를 보고 및 평가하는 데 적당치 못하였다고 해석할 수도 있다. 그러므로 앞으로 적응검사에 대한 수험생의 태도나 평가에 있어 무엇을 확인하는 것이 타당한 가에 대하여 연구가 필요하다.
이번 적응검사에서 학생들은 대부분 62 문항의 문제를 풀었다. 이전의 연구에 따르면 학생의 능력 모수 추정치가 지나치게 높거나 낮은 경우 더 많은 수의 문제를 풀게 되는 경향이 있다고 하였으나[2,5] 이번 시험에서는 큰 차이가 없었다. 이는 현재 문제은행이 충분히 넓은 난이도 영역의 문제를 보유하고 있기 때문일 수 있겠고, 처음 설정을 최소 60문항을 풀도록 하고, 종료시점을 오차가 0.01 미만이면 종료하도록 하였기 때문일 수도 있다.
면담에서 지적한 내용 중 멀티미디어를 이용한 문제가 적은 것은 이 번 적응검사의 문항이 이전에 치른 지필고사 문항을 그대로 써야 하였는데, 지필고사에서는 멀티미디어 문항을 만들기가 어려워서 그런 것이므로 앞으로 지필고사 대신 셈틀기반검사를 시행하면 문항데이터베이스의 질을 더 실제 상황에 맞게 향상시킬 수 있을 것이다. 또한, 시험을 몇 개의 검사소(testlet)로 나누어서 각각의 검사소내의 문항을 풀고 나서 능력모수값을 추정한 뒤 다음 검사소로 넘어가게 하면 시험 내용의 분야에 따라 문항을 배정할 수 있어 적응검사의 내용 타당도를 더 높일 수 있을 것이며 이를 위하여 앞으로 검사소 반응이론(testlet response theory)에 따른 새로운 프로그래밍이 필요하다[8]. 이번 적응검사의 모든 문항은 1년 전 시험 문항으로 구성한 것임에도 대부분의 학생이 똑 같은 문항을 다시 푼다는 것을 알지 못하였고, 특히 일부 문항이 과거 시험과 똑같은 것이 나왔다고 지적하더라도 그 문항의 정답을 맞추는 것은 아니었다. 또, 적응검사 때 푼 문항이 기억에 남지 않는다고 하므로 문항 노출의 위험은 크지 않을 것으로 보여 앞으로 일부 예비 문항을 넣어서 다음 시험을 위한 문항 데이터 베이스를 보완하여도 문항노출의 위험은 적을 것이다
이번 적응검사 설문조사를 통해 몇 가지 보완이 필요한 부분을 발견하였다. 우선 멀티미디어 문항을 개발하여 셈틀기반검사의 결과를 가지고 문항데이터베이스를 구축하여 보완하는 것이 필요하다. 둘째, 시험을 통한 교육을 위하여 되먹임(feedback)이 필요하므로 의학 내 세부 분야에 따라 다양한 검사소(testlet)를 구성하고 검사소 단위로 문항을 풀게 하는 것이 필요하다. 그러면, 각 영역에 따른 능력 수준을 학생에게 알려주어 부족한 부분에 대한 공부를 더 할 수 있도록 유도할 수 있을 것이다. 더 나아가 수준별(암기, 해석, 문제해결형), 범주별(병인, 진단, 치료, 정의, 역학 및 통계) 구성을 통한 알고리즘으로 어느 분야의 어떤 수준의 어떤 범주의 문항에 대한 해결력이 부족하다든지 뛰어나다든지 하는 데이터마이닝 기법을 도입하여 되먹이기가 가능하다면 수험생의 다음 학습 방향에 충분히 도움을 줄 수 있을 것이다. 또한 의학의 여러 분야의 검사소에 대한 가중치를 주어서 최종 능력모수를 결정할 수도 있을 것이다. 셋째, 시험환경, 예를 들면 모니터 해상도, 마우스 움직임 등을 사전 점검하여 이상여부를 파악하고 개선하는 것이 필요하다.
더 나아가서 이러한 적응시험이 학생의 학습방법의 변화를 가져오거나 개선할 수 있는 평가도구인지를 생각하여야 한다. 즉, 측정의 정밀성 등 여러 장점과 더불어 교육 내용의 개선을 가져 올 수 있는 지를 증명할 수 있다면 교육 현장에 쓰이는 빈도를 더욱 높일 수 있고, 이런 평가 방법에 투자할 수 있을 것이다. 적응시험은 국가단위 면허시험, 교실 단위 진단시험 같은 것에는 적용하기 좋으나, 학기제 수업평가, 1년에 한번 시험 보는 경우, 수행평가 등에는 적당치 않다고 한다[9]. 이 연구에서와 같이 의사면허시험의 예비시험 성격인 의과대학 4학년 학생들의 임상종합시험은 좋은 대상이 될 수 있다. 이번 연구를 시작으로 적응시험이 의과대학 학생 교육이나 평가의 질 향상에 기여할 수 있는지 지속적인 연구가 필요하다.
국내 의과대학에서는 처음으로 셈틀이용 적응검사를 시행하여 새로운 방식의 시험에 대한 수험생의 태도 및 평가를 알아보니, 적응시험에 대한 이해 정도, 이전의 적응시험 경험, 평소의 셈틀 사용량이나 시험 전, 후의 불안 정도에 따른 학생들의 능력모수 추정치 사이에는 유의한 차이가 없었다. 한 번 본 시험 문항을 다시 확인할 수 없다는 점과 문제 수가 너무 적다는 불만이 있었으나 78% 학생들이 셈틀 작동과 관련된 불편사항은 없다고 하였고, 63% 학생이 이러한 형태의 시험을 확대해 나가기를 기대한 점으로 보아, 적응시험이 앞으로 우리나라 의학 교육 현장에 충분히 확대 가능함을 알 수 있었다. 이런 시험을 개선하기 위하여 멀티미디어 문항 구성, 검사소 프로그래밍 및 시험 환경의 점검 등이 필요하다.
참고문헌
1. 부 재율. 컴퓨터활용검사. 서울: 교육과학사;2002.
2. 김 영환, 손 미, 정 희태. 컴퓨터기반 적응검사(CAT)의 이론과 실제. 서울: 문음사;2002.
3. Roex A, Degryse J. A Computerized Adaptive Knowledge Test as an assessment tool in general practice: a pilot study. Medical Teacher. 2004; 26:178–183.
![crossref](/image/icon/bnr_ref_cross.gif)
![crossref](/image/icon/bnr_ref_cross.gif)
4. Kreiter CD, Ferguson K, Gruppen LD. Evaluating the usefulness of computerized adaptive testing for medical in-course assessment. Academic Medicine. 1999; 74:1125–1128.
![crossref](/image/icon/bnr_ref_cross.gif)
![crossref](/image/icon/bnr_ref_cross.gif)
5. ICL, Item response theory command language [computer program]. available from http://ssm.sourceforge.net.
6. Kim SN, Huh S. Can Statistics used in the Medical Journals from Korea be Covered by Korean Statistical Program, dBSTAT? Korean Journal of Medical Education. 2002; 14:111–117.
![crossref](/image/icon/bnr_ref_cross.gif)
![crossref](/image/icon/bnr_ref_cross.gif)
7. Liley M, Barker T, Britton C. The development and evaluation of a software prototype for computerized-adaptive testing. Computers & Education. 2004; 43:109–123.
8. Linden WJ, Glas CAW. Computerized adaptive testing theory and practice. London: Kluwer Academic Publishers;2003.
9. Wainer H. Computerized adaptive testing: A Primer. 2nd ed. New Jersey: Lawrence Erlbaum Assoc;2000.