연구보고 RRE 99- 8

OECD 학업성취도 국제비교연구

- 읽기, 수학, 과학 영역을 중심으로 -

연 구책 임자 : 노 국향

연 구 자 : 진 경애

김 왕규

신 동희

박 경미

연 구 조 원 : 민 선영

한 국 교 육 과 정 평 가 원

연구에 도움을 주신 분들은 다음과 같습니다 .

<평가>

김신영(한국외국어대학교)

백순근(한국교육과정평가원)

이화진(한국교육과정평가원)

임형(성공회대학교)

채선희(한국교육과정평가원)

<읽기>

김양중(중동고등학교)

노명완(고려대학교)

송현정(한국교육과정평가원)

양정실(한국교육과정평가원)

이영덕(경복고등학교)

이혜숙(잠실고등학교)

장의(경복고등학교)

전훈숙(경영정보고등학교)

정애경(한국체육고등학교)

정구향(한국교육과정평가원)

조효복(중동고등학교)

최미숙(한국교육과정평가원)

<과학>

김주훈(한국교육과정평가원)

김찬종(청주교육대학교)

노석구(인천교육대학교)

유준희(한국교육과정평가원)

이양락(한국교육과정평가원)

최경희(이화여자대학교)

홍미영(한국교육과정평가원)

<수학>

나귀수(신남중학교)

백석윤(서울교육대학교)

백한미(서초고등학교)

왕규채(구정고등학교)

임재훈(전남대학교)

전경옥(서울대 대학원)

정향미(전동중학교)

<교육부>

권진수(교육조사통계과)

유은종(교육조사통계과)

주남창(국제교육협력과)

김태경(국제교육협력과)

머 리 말

OE CD 학업성취도 국제비교평가 연구(Pr ogramm e for In t ern at ion a l Stu dent

Assessm ent : OE CD/ P ISA)는 OE CD의 교육분과가 주관하는 국제비교 연구로,

학생들이 생산적인 사회 구성원으로 살아가는데 필요한 읽기, 수학, 과학적 소

양을 평가하는데 주안점을 두고 있다. OE CD/ P ISA 특징 중의 하나는 정책 지

향적인 연구라는 점으로, 이 연구는 교육정책 수립의 참고할 만한 지표를 산출

함으로써, 참여국들이 각국 교육체제의 성과를 국제적인 맥락에서 점검할 수 있

는 근거를 제공할 것이다.

우리 나라는 제2차 과학성취도 국제비교 연구인 SIS S와 제3차 수학, 과학 성

취도 국제비교연구인 TIM SS를 시발점으로 국제비교에 활발하게 참여하여 상위

권의 성적을 기록함으로써, 수학, 과학 교육계의 관심을 모아 왔다. 그러나 읽기

능력에 관련해서는 우리 나라 학생들이 국제비교연구에 참여하여 본 경험이 없

으므로, OE CD/ P ISA에의 참여는 우리 나라 학생들의 읽기 능력을 국제적 기준

에 평가한다는 측면에서 큰 의의를 지닌다고 하겠다.

본 연구보고서는 OE CD/ P ISA의 2차년도에 해당하는 연구활동을 정리한 것으

로, 읽기, 수학, 과학 평가의 방향, 평가틀, 평가 문항의 성격과 번역 과정, 예비

검사 시행절차, 그리고 예비검사 자료 분석 결과를 정리하였다. OE CD/ P ISA가

2006년까지 지속되는 장기 연구이므로 문항과 채점기준을 공개하지는 못하지만

연구를 진행하는 절차와 방법은 국내의 학생 평가에 시사하는 바가 클 것으로

예상된다.

끝으로 국가적 사업으로 진행되는 OE CD/ P ISA 연구에 행 재정적인 지원을

아끼지 않은 교육부의 교육조사통계과와 국제교육협력과의 관계자들에게 깊은

감사를 표하며, 어려운 여건 속에서 본 연구를 수행한 연구진의 노력을 치하하

는 바이다.

1999년 12월

한국교육과정평가원

원 장

- i -

연 구 요 약

국제학생성취도평가(Program for Int ern at ion al Student Assessment : P ISA)는 경

제협력개발기구(Organizat ion for Econ omic Cooperat ion and Development : OECD)

가 주관하는 국제학력비교 평가 연구로, 학생들이 미래지향적인 시민으로 살아

가는데 필요한 능력을 지니고 있는가를 평가하는데 주안점을 두고 있다.

OE CD/ P ISA는 각국 학생들의 성취 수준을 국제적인 맥락에서 파악함으로써,

자국 교육 체제와 교수-학습 방법을 개선할 수 있는 정책적 시사점을 제공하는

것을 목적으로 하는 정책 지향적 연구이다. 이러한 목적을 수행하기 위해 읽기,

수학, 과학 영역의 평가문항과 이들 세 영역의 성취에 영향을 미치는 배경 변인

들에 대한 자료를 수집하고자 한다. 1999년 10월 현재 이 연구에는 OE CD 회

원국을 비롯한 세계 32개국이 참여하고 있다.

OE CD/ P ISA의 주요 특징은 크게 네 가지로 요약될 수 있다.

첫째, 읽기, 수학, 과학 영역의 교육 과정과 교과서에 얽매인 정형화되고 인위적

인 문항에서 벗어나 실생활에서 접할 수 있는 다양한 상황을 배경으로 한 문항을

통해 학생들의 실생활 능력을 평가하고자 한다는 것이다.

둘째, 읽기, 수학, 과학 영역간의 통합을 추구하고 있다는 것이다. OE CD/ P ISA

에는 읽기, 수학, 과학 영역 이외에 통합적 성격을 갖고 있는 문항이 포함되어 있

다. 또한 읽기 영역의 문항 중 과학영역의 지식을 요구하는 문항이 다수 포함되어

있으며, 과학 영역의 문항 중에는 본문에 대한 독해를 통해 별도의 과학적 지식 없

이 답을 구할 수 있는 문항들이 다수 포함되어 있어, 교과 영역간의 통합을 적극적

으로 모색하고 있다.

셋째, OE CD 회원국가의 대다수가 의무 교육의 종료시점을 만15세로 하고 있는

데, 이 시점에서 평가를 실시함으로써 각국의 교육적 성과를 누적적으로 평가하고

자 한다.

넷째, 평가 대상의 단위를 학급이나 학교가 아닌 개별 학생으로 함으로써, 학교

간(bet ween sch ool)및 학교 내(with in sch ool var ian ce) 학생 성취 수준의 차이를

파악하도록 평가를 설계하였다.

OE CD/ P ISA는 3년을 한 주기(cycle)로 3차에 걸쳐 총 9년 동안 지속되며,

1998년부터 2006년에 걸쳐 세 번의 주기가 반복될 예정이다. 첫 번째 주기의

- ii -

첫 해인 1998년에는 평가의 방향과 평가틀을 개발하고, 예비 검사 문항을 개발

하였다. 2차년도인 1999년에는 전년도에 개발된 문항과 평가절차의 적합성을

점검하기 위한 예비 검사가 실시되고, 3차년도인 2000년에는 본검사가 실시된

다. 200 1년에는 본검사 결과의 분석과 더불어 두 번째 주기가 시작된다. 이와

같이 첫 번째 주기와 유사한 방식으로 세 번의 주기가 반복되는데, 첫 번째 주

기에는 읽기가 주 영역이고 수학과 과학이 보조 영역이 되며, 두 번째와 세 번

째 주기에는 수학과 과학이 각각 주영역이 되고, 나머지 두 영역이 보조 영역이

된다.

본 연구는 OE CD/ P ISA의 첫 번째 주기에 해당하는 연구로, 1998년에 개발된

평가틀과 문항들의 적합성을 점검하기 위한 예비 검사와 그 결과의 분석 활동

을 통한 본검사용 문항 선제 활동을 연구의 주 내용으로 하고 있다.

OE CD/ P ISA의 평가틀과 평가 도구는 참여국과 OE CD/ P ISA의 연구연합체의

교과전문가와 평가 전문가들의 협력적 연구에 의해 개발되었다. OE CD/ P ISA의

평가틀의 기본 구조는 지식의 구 조나 내 용 , 문제 해결의 과 정 , 지식이나 능력

이 적용되는 상황 등의 3개 기본축을 읽기, 수학, 과학의 3개 영역에 적용하여,

각 항목의 내용을 영역별로 구체화하였다.

OE CD/ P ISA의 평가 문항은 참여국으로부터 제공받은 문항과 네덜란드의 검

사 개발연구소인 Cit o와 호주의 교육연구소인 ACE R이 자체적으로 개발한 문항

을 수합한 후, 참여국과 연구 연합체의 수정 보완을 거쳐 예비 검사를 거쳤다.

이러한 과정을 거쳐 선제된 문항은 읽기 354문항, 수학 99문항, 과학 104개 문

항이었다. 읽기 영역의 문항이 수학이나 과학에 비해 상대적으로 많은 것은 제1

주기에서는 읽기 능력 평가에 가장 큰 비중을 두고 있으며, 수학과 과학이 보조

영역으로 설정되어 있기 때문이다. 이들 문항들은 9종의 검사지에 분리 배정되

었다.

OE CD/ P ISA에서는 학생의 성취 결과뿐 아니라 성취에 영향을 미치는 배경

변인들에 관심을 두고 있으며, 특히 이들 배경 변인들과 성취도와의 관계가 국

가별로 차이를 보이고 있는지를 파악하고자 한다.

OE CD/ P ISA의 배경변인 설문지는 학생과 학교를 대상으로 하고 있다. 학생

들로부터는 가정 경제적 배경, 교수-학습관련 배경, 경제적, 문화적 자산의 보유

정도, 자기주도적 학습능력, 컴퓨터 관련 정보기술 친숙도 등을 파악하였다. 학

- iii -

교 질문지는 학교의 여건, 의사 결정의 구조, 인적, 물적 자원 보유정도, 학교의

주변 여건 등에 대한 문항을 포함하였다. OE CD/ P ISA의 평가 도구는 한국어로

번역되었고, 번역의 과정에서 지명, 인명, 계절적 상황, 학제 등을 한국적 상황

에 맞게 번안하였다.

OE CD/ P ISA 검사 도구의 적합성과 평가 설계의 실행 가능성을 점검하기 위

한 예비검사가 1998년 4월 15일에서 4월 2 1일에 걸쳐 국내에서 실시되었다. 예

비 검사를 위한 표본의 선정은 두 단계의 과정을 거쳤다. 첫째, 지역, 성별, 학

교 유형(일반계, 실업계)을 고려한 유층 비례 표집 방법을 통해 전국의 30개 고

등학교를 선정하였다. 둘째, 표집된 학교의 학생 중 1983년 1월 1일에서 12월

3 1일 사이에 태어난 만 15세 학생들의 명단을 표집 학교로부터 접수받아, 각

학교 당 40명의 학생을 무작위로 선정한 결과 국내 표본의 규모는 약 1,200명

에 달하였다. 시험은 인지검사에 120분, 설문지에 35분, 그리고 시험에 대한 안

내 및 지시 사항 등을 포함하여 총 3시간에 걸쳐 실시되었다. 표집된 1,200명

중 결시생은 17명으로 결시율은 1.2%였다.

OE CD/ P ISA 예비검사 문항은 선택형, 짧은 단어나 문장으로 구성된 서술형

문항 그리고 좀 더 긴 문장으로 구성된 서술형 문항 등 여러 다른 종류의 문항

을 포함하고 있다. 이 중에서도 주관식 문항의 비율이 매우 높았는데, 읽기의

경우 전체 문항의 45%가 주관식 문항이었다.

주관식 문항에 대한 학생들의 답안을 채점하기 위해 11명의 채점자를 선정하

여 연수하였다. 채점자 중 7명은 고등학교의 국어 및 영어 교사로 읽기 문항의

채점을 담당하였고, 4명은 대학원생으로 수학과 과학 문항의 채점을 담당하였

다. 채점자간의 일관성을 점검하기 위해 전체 답안지의 약 38%를 각기 4명의

채점자가 복수 채점하는 방식을 취하였다.

예비검사 결과분석은 호주의 ACE R의 문항분석 보고서와 한국 내 교과전문

가의 문항 및 채점기준의 적합성 검토를 중심으로 실행되었다. 예비검사의 목적

이 개발된 문항의 적합성을 점검하기 위한 것인 만큼, 예비검사 자료 분석은 문

항의 적합도를 점검하는데 초점을 맞추었다.

경험적 자료에 의한 정량적 분석과 더불어 국내에서는 교과전문가들에 의한

문항검토 작업이 진행되었다. OE CD/ P ISA 문항이 우리 나라 학생들에게 적합

한 문항인지를 검토하기 위해 ① 교육과정과의 연계성, ② 문항형태나 과제의

- iv -

친숙도, ③ 만 15세 학생의 흥미나 관심도, ④ 문화적 편파성, ⑤ 남녀 차별적

기능, ⑥ 기타 편파성의 문제, ⑦ 번역 오류에 따른 기술적 문제, ⑧ 출제의도의

명료성, ⑨ 채점기준의 문제, ⑩ 본검사 포함 우선 순위 등의 준거를 설정하였

다. 이상의 준거를 이용하여 각 항목별로 1∼4점 척도를 이용하여, 매우 적절할

경우에는 4 로 적절하지 않은 경우에는 1 로 평정하도록 하였다.

우리 나라가 OE CD/ P ISA 연구에 참여하는 목적 중의 하나는 최신의 평가기

법을 사용하는 국제학력평가연구에 참여함으로써 평가 관련 이론과 기술을 축

적하고, 이를 국내평가에 활용하려는 것이다. 이를 위하여 본 연구에서는 실행

과 더불어 OE CD/ P ISA가 추구하는 평가의 방향, 평가틀, 문항개발을 위한 접근

방법들을 이론적 측면에서 고찰하였다. 또한 OE CD/ P ISA, TIM SS-R, P IRL S,

IAL S 등 주요 학업성취도 국제비교 연구의 면모를 비교 분석함으로써 학업성

취도 국제비교평가의 동향을 파악하였다.

실생활 상황에 맥락을 둔 OE CD/ P ISA 평가 문항은 최근 우리 교육상황에서

강조하고 있는 수행평가와 맥락을 같이 하고 있다. 이러한 관점에서

OE CD/ P ISA 평가가 우리 나라의 국어, 수학, 과학의 교육과정, 교수-학습, 평가

에 주는 시사점을 도출하였다.

국어의 경우 실생활과 연관된 제재를 읽기 교육에서 좀더 폭넓게 다루어질

필요성과, 읽기 교육을 통해 글의 내용에 한정된 이해나 추론 능력을 넘어서서

비판적으로 분석하고, 자신의 입장이나 관점을 정립하는 능력을 함양하도록 읽

기 교육의 영역을 확장할 것을 제안하였다.

수학의 경우, 우리 나라의 수학 교육과정과 교과서도 실생활 상황에서 수학적

지식을 활용하거나 수학에 있어서의 고등사고기능이라고 할 수 있는 창의적 사

고나 의사소통 능력을 신장시킬 수 있는 내용을 좀 더 강조하는 것이 필요하며,

평가 역시 결과보다는 답을 구해 가는 과정을 요구하는 문항으로 그 초점을 옮

겨가는 것이 필요하다.

과학의 경우, 탐구 능력보다는 지식에 치우친 우리 나라 중등 학교 과학 교육에

시사하는 바가 크다. 특히 의사 소통, 문제 해결 등 상위 탐구 능력을 측정할 수

있는 방법을 적극적으로 도입할 필요가 있다. 또한, 초등학교에서는 어느 정도 이

루어지고 있으나 중등 학교에서는 거의 이루어지고 있지 않은 실생활의 상황 도입

을 통한 과학 교육 평가의 바람직한 예를 보여주고 있는 것도 주목할 만하다.

- v -

차 례

머 리 말

연구요약

I. 서 론 1

1. 연구의 필요성 및 목적 1

2 . 연구 내용 4

3. 연구 방법 5

4 . 연구 계획 대비 추진 성과 6

II. OE CD/ P ISA 평 가 개 관 10

1. 국제 학력 평가의 연구 동향 10

2 . OE CD/ P ISA 개관 12

3. OE CD/ P ISA의 특징 16

4 . OE CD/ P ISA와 기존의 국제 학력 평가와의 차이 22

III. OE CD/ P ISA의 평가 틀 24

1. 인지검사 평가틀 24

2 . 배경변인 설정을 위한 개념틀 53

IV. OE CD/ P ISA 검 사 도 구 62

1. 인지 검사 문항 62

2 . 설문 문항 74

- v i -

V. 검 사시 행의 실제 80

1. 표집 80

2 . 검사 시행 88

3. 채점 98

VI. 예비 검사 결과 분석 104

1. 문항 분석 결과 104

2 . 전문가에 의한 검토 114

3. OE CD/ P ISA가 주는 시사점 129

VII. 배경 변인 조사 결과 분석 154

1. 배경변인별 응답 분석 154

2 . 배경변인에 대한 비판적 검토 155

3. 설문문항과 성취모형요소들과의 연계 159

VIII. 연구 의 요 약 및 제언 16 5

1. 연구 요약 16 5

2 . 제언 172

참고 문헌 175

부 록 179

영문 초록 31 7

- v ii -

표 차 례

<표 I -1> 1999년 OE CD/ P ISA 연구 추진 내용 7

<표 I -2 > OE CD/ P ISA 연구 추진 실적 및 계획(1998 -1999년) 8

<표 I -3> 향후 OE CD/ P ISA 연구 추진 계획(2000년) 9

<표 II -1> 최근의 국제학력평가 연구 11

<표 II -2 > OE CD/ P ISA의 연구 담당 기관 14

<표 II -3> OE CD/ P ISA의 통합 문항의 성격 2 1

<표 III -1> 국제 학력 비교 연구의 개요 2 5

<표 III -2 > IAL S 읽기 수준 및 문항 유형 2 7

<표 III -3> F IM S 수학 평가틀 28

<표 III -4 > SIM S 수학 평가틀 (만 13세 학생) 29

<표 III -5> SIM S의 수학 평가틀 (중등 학교의 마지막 학년) 29

<표 III -6 > SISS 과학 평가틀 29

<표 III -7> TIM S S 수학 평가틀 30

<표 III -8 > TIM S S 과학 평가의 세 가지 영역과 주요 범주 3 1

<표 III -9 > IAE P I 수학 평가틀 32

<표 III -10 > IAE P I 과학 평가틀 32

<표 III -11> IAE P II의 수학 평가틀 33

<표 III -12 > IAE P II의 과학 평가틀 33

<표 III -13> OE CD/ P ISA 평가틀의 기본구조 35

<표 III -14 > 읽기 본문 상황 36

<표 III -15> OE CD/ P ISA의 제3수준 문항 예시 4 3

<표 III -16 > 수학 평가틀 4 5

<표 III -17> 과학적 소양 측정에 필요한 개념 (영어 알파벳 순) 49

<표 III -18 > 과학적 소양 평가에 필요한 과제의 구성 5 1

<표 III -19 > TIM SS와 OE CD/ P ISA의 과학 평가틀 비교 52

<표 III -20 > N AE P 학생용 설문지 배경변인의 구조 55

<표 III -2 1> N AE P 의 교사용 설문지의 영역 56

<표 III -22 > OE CD/ P ISA 학생용 설문지 배경변인의 구조 58

- v iii -

<표 III -22 > OE CD/ P ISA 학교 설문지 배경변인의 구조 59

<표 IV-1> OE CD/ P ISA 예비검사 문항 검토 양식 6 3

<표 IV-2 > OE CD/ P ISA 예비검사 읽기 문항의 상황별 분포 64

<표 IV-3> OE CD/ P ISA 예비검사 읽기 문항의 본문 형태별 분포 6 5

<표 IV-4 > OE CD/ P ISA 읽기 문항의 읽기 활동에 따른 산문과 비산문 비율 6 5

<표 IV-5> OECD/ P ISA 읽기 문항의 읽기 활동에 따른 주관식, 객관식 문항 비율 66

<표 IV-6 > OE CD/ P ISA 예비검사 수학 과제의 분포와 제목 6 7

<표 IV-7> OE CD/ P ISA 예비검사 수학문항의 유형별 분포 6 7

<표 IV-8 > OE CD/ P ISA 예비검사 수학 문항의 핵심 아이디어별 분포 68

<표 IV-9 > OE CD/ P ISA 예비검사 수학 문항의 내용 요소별 분포 68

<표 IV-10 > TIM SS-R 본검사 수학 문항의 내용 영역별 분포 68

<표 IV-11> OE CD/ P ISA 예비검사 과학 과제의 분포와 제목 70

<표 IV-12 > OE CD/ P ISA 예비검사 과학 문항의 유형별 분포 70

<표 IV-13 > OE CD/ P ISA 예비검사 과학 문항의 내용 영역별 분포 7 1

<표 IV-14 > OE CD/ P ISA 예비검사 과학 과제의 제시 형태에 따른 분포 7 1

<표 IV-15 > OE CD/ P ISA 예비검사 과학 문항의 출제 의도에 따른 분포 72

<표 IV-16 > 배경 변인 설문 문항 내용 (핵심 영역과 집중 영역) 77

<표 V-1> OE CD/ P ISA 표집 방안 82

<표 V-2 > 우리나라 만 15세 학생들의 학교급 및 학년별 분포 84

<표 V-3> OE CD/ P ISA 평가 제외 규정 및 코드 84

<표 V-4 > OE CD/ P ISA 예비검사를 위한 학교 모집단의 지역적 분포 86

<표 V-5> 예비검사 표집학교 명단 8 7

<표 V-6 > 학생 명단 양식 8 7

<표 V-7> 표집 학생의 학년별 분포 88

<표 V-8 > OE CD/ P ISA 예비검사 시행의 역할과 책임 분장 92

<표 V-9 > OE CD/ P ISA 국내 예비검사 시행일자 9 3

<표 V-10 > 검사 시간표 9 5

<표 V-11> 각 영역별 복수채점 방식 102

<표 VI-1> 모형적합도와 변별도가 낮은 문항 111

<표 VI-2 > 남녀차별문항 분석 113

- ix -

<표 VI-3> 문항검토의 기준 114

<표 VI-4 > OE CD/ P ISA 읽기 문항 검토 양식 예시 115

<표 VI-5> 본문 종류와 교육과정 포함 여부 118

<표 VI-6 > 읽기 문항의 문화적 편파성에 대한 전문가 의견 120

<표 VI-7> 영어 교과의 소재 144

<표 VII -1> 학생과 부모님의 출생지 155

<표 VII -2 > 부모님이 가정에서 사용하는 언어 156

<표 VII -3> 다음과목의 주당수업시간 156

<표 VII -4 > 유급당한 경험 156

<표 VII -5> 월반해 본 경험 156

<표 VII -6 > 가정에서 사용하는 언어 156

<표 VII -7> OE CD/ P ISA의 주제별 보고서에 사용될 설문문항들 162

- x -

그 림 차 례

[그림 II -1] OE CD/ P ISA 추진 체계 15

[그림 III -1] OE CD/ P ISA 읽기 평가틀 38

[그림 III -2] TIM S S 배경변인의 개념틀 54

[그림 III -3] 학생성취에 영향을 미치는 변인 60

[그림 V-1] 주관식 검사 문항의 형태 예시 102

[그림 VI-1] 답지반응분포 10 5

[그림 VI-2] 문항 분석 결과의 도식화 106

[그림 VI-3] 문항의 남녀 차별적 기능 분석 10 7

- x i -

I . 서 론

이 장에서는 경제협력개발기구가 주관하는 국제학생성취도평가연구에 우리

나라가 참여하는 목적, 국내 연구의 내용, 방법 및 일정에 대해 개괄적으로 소

개한다.

1 . 연구 의 필요 성 및 목적

2 1세기 지식기반 사회에서는 인적 자원의 질이 국가의 경쟁력을 좌우한다. 이는

국가 경쟁력의 개념이 군사력이나 경제력으로부터 인적자원의 부가 가치 생산 능

력으로 전환되고 있다는 것을 의미한다. 이에 따라 국가의 교육체제가 장차 사회에

진출하여 생산적인 사회 구성원의 역할을 감당하는 데 필요한 지식과 능력을 학생

들에게 제대로 가르치고 있는가하는 문제는 개별 국가의 관심사를 넘어 국제적 관

심사로 대두되고 있다.

학교교육이 어떤 효과를 거두고 있는가를 파악하기 위해 정부와 일반 대중들

은 교육적 성과에 대한 매우 구체적인 자료를 요구한다. 이러한 요구에 부응하

기 위해 많은 국가들이 국가 수준의 학생 성취도 평가를 시행하여 자국 학생들

의 성취수준을 파악하려는 노력을 기울이고 있다. 미국의 국가교육향상평가

(N at ion al Assessm en t of E du cat ion P r ogr ess : NAEP ), 영국의 국가교육과정평가

(N at ion al Cur r icu lu m Assessm ent : N CA) 등은 학생의 성취수준을 파악하려는

국가적 노력의 대표적인 예라 할 수 있다. 우리 나라에서도 전국의 초 중 고등

학교 학생들을 대상으로 한 성취도 평가가 최근 10여년에 걸쳐 시행되고 있다

(김명숙, 노국향, 박정, 부재율, 양길석, 1998).

최근 들어 다국적 기업의 출현과 국경을 초월한 무한 경쟁의 시대에 돌입하

면서 국가 내에서의 학생성취도에 대한 정보만으로는 자국의 교육체제의 강점

과 약점을 객관적으로 파악하기가 어렵다는 인식 하에, 학생성취수준을 국제적

인 맥락에서 파악해야 한다는 요구가 높아지고 있다.

이와 같은 요구에 부응하기 위해 경제협력개발기구(Or gan izat ion for E con om ic

- 1 -

Cooper at ion an d Developm ent : OE CD)는 학업성취도 국제비교연구(P rogr am for

In t ern at ion al St u dent Assessm ent : P ISA)를 시작하였다. OE CD가 주관하는

P ISA(이하 OE CD/ P ISA로 약칭) 연구는 학생들의 성취수준을 국제적인 맥락에

서 파악하기 위해 정부 차원에서 시도되는 최초의 연구라 할 수 있다.

OE CD/ P ISA는 1998년부터 2006년까지 9년에 걸쳐 국제적으로 표준화된 검

사를 통해 세계 만15세 학생들의 읽기, 수학, 과학 영역의 성취도를 평가하여,

각국 교육의 성과를 보다 폭넓은 맥락에서 해석하고 교육의 발전을 위한 정책

적 시사점을 도출하려는 목적을 갖고 있다. 이 연구에는 1999년 10월 현재

OE CD회원국을 위시한 세계 32개국이 참여하고 있으며, 기존의 참여국 외에도

상당수의 동남아와 중동 지역의 국가들이 참여를 고려하고 있다.

우리 나라는 OE CD/ P ISA의 시작 단계인 1998년부터 본 연구에 참여해 왔다.

1차년도인 1998년에는 주로 검사의 설계의 세부 내용과 문항 개발에 연구의 초

점을 두었다. 1999년에는 전년도에 개발된 문항의 실효성을 점검하기 위한 예

비검사와 예비검사의 결과분석을 통한 문항 분석과 검토 등이 주 연구 활동이었다.

우리 나라가 OE CD/ P ISA에 참여하는 목적은 크게 세 가지로 나누어 볼 수

있다.

첫째, 우리 나라 학생들의 성취 수준이 어떤 수준에 도달해 있는지, 그리고

교육과 관련한 여러 배경 변인들이 학업 성취에 어떤 영향을 미치고 있는지를

외국의 경우와 비교·분석하여 교육정책 수립의 기초 자료를 제공하기 위해서

이다.

둘째, OE CD/ P ISA에서 사용되는 최신의 평가 기법이 어떻게 개발·활용되고

있는지를 국내에 소개하며, 이들 평가 기법을 우리 나라의 학생 평가에 활용할

수 있는 방안을 모색하기 위해서이다.

OE CD/ P ISA는 고등 사고 능력과 실생활에서의 문제해결능력, 통합적 사고

능력, 자기주도적 학습능력의 평가에 주안점을 두고 있다. 이들 능력들은 미래

사회에서 살아가게 될 학생들이 반드시 갖추어야 할 능력으로 간주되고 있다.

OE CD/ P ISA는 이러한 능력들을 측정하기 위한 최신의 평가기법을 시도하고 있

으며, 타당하고도 신뢰로운 평가 결과를 확보하기 위해 평가틀 개발, 표집, 평가

시행, 채점, 자료입력 및 분석에 이르는 평가의 전 과정에 대한 엄격한 질 관리

방안을 제시하고 있다. OE CD/ P ISA의 평가기법과 시행절차, 그리고 질 관리 방

- 2 -

안들은 모범적인 평가모형으로 인식되고 있으며, OE CD/ P ISA 참여국을 비롯한

여러 나라의 평가체제에 많은 시사점을 제공하고 있다.

실생활에서의 문제해결능력, 교과간의 통합적 능력에 대한 평가는 우리 나라

가 추구하고 있는 수행평가를 위시한 다양한 평가방법을 통한 교육 개혁과 맥

을 같이 한다고 볼 수 있다. OE CD/ P ISA 연구에 참여함으로써, 평가 설계에서

부터 평가틀과 평가문항 개발, 채점 및 채점 결과 보고 방식, 평가의 질 관리에

이르는 다양한 분야에 있어서의 평가 기술을 축적하고자 한다. 그리고

OE CD/ P ISA 참여를 통해 축적된 평가 기술을 우리 나라의 학생평가에 적용하

고 2 1세기의 지식기반 사회에 대비하기 위한 교수-학습 및 평가 체제 구축에

적극 활용하고자 한다.

셋째, OE CD/ P ISA 연구를 통해 교육평가에 있어서의 국제 협력 증진을 모색

하기 위해서이다. OE CD/ P ISA는 OE CD 교육분과나 어느 한 연구기관이 일방

적으로 주도하는 연구가 아니라 국제적 협력을 통해 이루어지는 연구로 규정되

고 있다. OE CD/ P ISA에서 추구하는 국제협력은 평가의 전 과정에서 각국의 의

견을 수렴하고 반영하는 절차를 통해 이루어진다. 평가틀, 평가 문항, 분석 방

법, 평가 점수 척도, 평가결과의 공개 방안 등에 대해 참여국에게 검토 의견을

구하고, 수렴된 의견들을 적극 반영하며, 이견이 있을 경우, OE CD/ P ISA 본부

는 참여국의 연구책임자나 교과 전문가들과 이견을 조율하기 위해 많은 노력을

기울인다.

표준화된 국제학력평가 결과를 통해 각국 학생들의 학력을 상호 비교하기 위

해서는 평가 문항이나 채점기준이 국가의 문화적 규범이나 가치, 학교교육의 내

용과 일치해야 한다. 만약 OE CD/ P ISA가 개발한 평가 문항이 우리의 문화적

규범이나 교육여건 및 체제와 맞지 않는 것일 때는 한국의 입장을 OE CD에 설

득력 있게 제시하여, 우리 학생들이 국제평가에서 불이익을 입지 않도록 노력할

필요가 있다. 이러한 노력의 과정에서 OE CD와 같은 국제기구 뿐 아니라, 호주

의 교육연구위원회(Au str alian Cou n cil for E du cat ion al Resear ch), 미국의 교육

평가원(E du cat ion al Test in g Service), 일본의 국립교육연구소(N at ion a l In st it u t e

of E du ca t ion a l R esear ch ) 등 OE CD/ P ISA연구에 관여하고 있는 연구기관들과

협력적인 관계를 증진하게 될 것이며, 이러한 협력적 연구를 통해 궁극적으로는

한국 교육에 대한 국제사회의 이해를 증진하는데 기여할 수 있을 것이다.

- 3 -

2 . 연구 내용

본 연구는 OE CD/ P ISA의 시행 과 연구 라는 두 축을 중심으로 이루어진다.

검사 시행과 관련하여 1999년도에 수행된 연구의 내용은 2000년에 있을 본검

사를 위해 개발된 읽기, 수학, 과학 및 통합 영역의 검사 도구를 실험적으로 평

가해보는 활동(예비검사)과, 예비검사 결과를 바탕으로 본검사에 사용될 문항을

선정 및 수정 보완하는 활동 등이 주를 이룬다.

이러한 시행과 더불어 OE CD/ P ISA가 추구하는 평가 기법들이 어떠한 절차와

과정을 거쳐 개발되는지에 대해 상세히 관찰하여 기술하고, 제3차 국제 수학과

학 성취도 반복연구(Th ird Int ernat ional Math emat ics and Science Study-Repeat :

TIM SS-R), 국제성인문해력검사(In t ern at ion al Adu lt Lit er acy Survey: IALS)등

학업성취도 관련 주요 평가들이 사용하고 있는 평가틀을 종합적으로 정리하였

다. 아울러 OE CD/ P ISA의 검사 문항들이 다루고 있는 내용과 인지 능력을 분

석하여, OE CD/ P ISA 평가가 우리 나라의 국어, 영어, 수학, 과학 교과의 교육과

정, 교수-학습, 평가에 주는 시사점을 도출하였다. 본 연구의 주요 내용을 항목

별로 정리하면 다음과 같다.

검 사 도 구 개 발

- 번역된 검사 문항 (읽기, 수학, 과학, 통합 영역)의 번안 및 수정 보완

- 배경 변인 설문지 (학생, 학교 대상) 번역, 검토 및 수정 보완

검 사 시 행 지 침 서 작 성

- 국가 연구 책임자 지침서, 학교 연구 책임자 지침서, 검사 시행 책임자

지침서 번역 및 국내 상황에 부합되도록 재구조화

표 집

- 지역, 학교 유형(인문계, 실업계 등), 성별 등을 층화기준으로 한 유층비례

표집 방법을 통한 최적 규모의 대표성 있는 표본 선정

검 사 설 계 및 실시 의 효 율 성 증 대 방 안 모 색

- 예비 검사 설계 및 실시 절차의 효율성에 대한 분석

- 검사 실시 절차 상세화

- 유관 기관(교육부, 시도 교육청)과의 효율적인 연계체제 구축 및 업무 분담

- 검사 실시 요원 연수

- 4 -

채 점

- 채점자 연수

- 채점기준표 작성

- 채점자간 신뢰도 점검을 위한 복수채점

검 사 결 과 분 석

- 학생들의 읽기, 수학, 과학 및 통합영역 성취 수준 점검

- 학업성취도와 배경 변인간의 인과 관계 분석

- 본검사를 위한 문항 선제 및 수정 보완

질 관리

- 지역감독관(N at ion a l Cen t er Qu a lit y Mon it or )의 국내 연구의 실행과정

에 대한 점검

- 학교감독관(Sch ool Qu al it y Mon it or )의 검사 시행 참관

시 사 점 도 출 및 국 내 학 생 평 가 에 의 적용 방 안 모색

- 평가 기법이 국내 학생 평가에 주는 시사점 도출 및 국내 적용 방안 모색

3 . 연구 방법

OE CD/ P ISA 국내 연구는 문헌 연구, 전문가 협의회, 조사 연구, 연구진 정례 협의

회, 연구연합체와의 협의회, OE CD 관련 기관과의 교류 및 협력 등의 활동을 통해 수

행되었다.

문 헌 연 구

- OE CD/ P ISA 본부에서 송부한 자료 분석

- 학업성취도 평가 관련 자료 분석

전 문 가 협 의 회

- 읽기, 수학, 과학 교과 전문가 국내 협의회

- OE CD/ P ISA 교과 전문가 위원회(F u n ct ion a l E xp er t Gr ou p) 국제 회의

- 평가 결과 분석을 위한 평가 및 교과 전문가 협의회

- 문항 및 채점기준의 적합성 검토를 위한 협의회

- 5 -

조 사 연 구

- 인지 검사 시행

- 배경 변인 설문 조사

연 구 진 정 례 협 의회 (매 주 수 요일 )

- 연구진의 아이디어 교환 및 토론

- 교과교육과 평가의 연계

- 연구 진행 상황 점검

국 제 세 미 나 및 이 사 회 회 의 참 가

- 예비검사 실행 준비를 위한 세미나

- 채점 및 전산 입력을 위한 세미나

- 예비검사 설계 및 실행의 적합성 점검을 위한 세미나

- 설문문항 검토를 위한 국제 세미나

- 본검사(2000년)용 문항 선정을 위한 기준 설정 이사회

- 문항의 문화적 편파성을 점검하기 위한 세미나

O E C D 관 련 기관 과 의 교 류 및 협 력

- OE CD 관련 업무 담당 교육기관(교육부, 한국교육개발원, 국가멀티미디어

센터, 한국직업능력개발원) 관련자들과의 협의회 개최 및 협력 강화

- ACER(호주 교육연구위원회:Austr alian Council for Educat ion al Research),

Cit o(네델란드 문항개발연구소: Neth erlan ds Nat ion al Inst itut e for

Educat ion al Measurement), ETS(미국 평가원: Educat ional Test in g Service),

West at (미국의 질문지 개발, 통계처리 및 결과분석기관) 등의 OECD/ P ISA 연

구담당기관과의 협의 체제 구축

4 . 연구 계획 대비 추 진 성 과

OE CD/ P ISA는 1998년부터 지속되어 온 계속 과제이다. 1998-1999년 동안 추진

되어 온 연구 추진 성과를 보고하고 2000년에 이루어질 활동들을 요약하여

OE CD/ P ISA의 전체적인 일정을 다음과 같이 도표로 정리하였다.

- 6 -

<표 I -1> 1999년 OE CD/ P ISA 연구 추진 내용

일정 (월 )연구 내용

1 2 3 4 5 6 7 8 9 10 11 12추진실적

연구 실행 계획서 작성 및 심의 완료

예비검사 도구(읽기, 수학, 과

학, 질문지) 번역 및 검토 완료완료

예비검사도구본부송부및검증 완료

예비검사 시행지침서 및 채점

기준표 번역, 표집 계획 수립완료

학교, 학생 표집 완료

pilot test 및 pilot test 결과

에 따라 검사 도구 수정, 검사

도구 인쇄 및 송부

완료

검사 실시(원내외) 요원 회의,검사 실시

완료

주관식 문항 채점, 자료 입력,자료 분석

완료

중간보고서 작성 완료

영역별 평가틀, 문항, 표집 방

법, 결과 분석 방법에 대한 이

론적 고찰

완료

평가의 절차 (표집, 관리, 채점,입력) 및 문항에 대한 시사점 도

출 및 적용방안 모색을 위한 워

크샵

완료

99 기술 보고서 및 자료집 작성 완료

3차 국가연구책임자(NPM) 회

의 및 4차 교과전문가집단

(FEG) 회의 참석

완료

보고서 수정·보완 완료

본검사 계획 수립

보고서 인쇄

- 7 -

<표 I -2 > OE CD/ P ISA 연구 추진 실적(1998 -1999년)

년도 월 계 획 추진 상황

1998년

1월 ·연구 프로젝트 시작 완료

2월

·연구 계획서 완료

·교과전문가집단 결성

·OE CD 자료 분석 연구

완료

3월·1차 교과전문가집단 회의

·교육과정 분석 연구완료

4월·평가틀에 대한 의견 수렴을 위한 협의회 실시

·1차 참여국위원회 회의완료

5월·1차 국가연구책임자 회의

·2차 교과전문가집단 회의완료

6월 ·읽기, 과학, 수학 영역별 평가틀 개발 완료 완료

7월·2차 참여국위원회 회의

·검사 도구에 대한 의견 수렴을 위한 협의회 실시완료

9월·3차 참여국위원회 회의

·검사 도구의 개발 및 검토를 위한 협의회 실시완료

10월

·4차 참여국위원회 회의

·3차 교과전문가집단 회의

·2차 국가연구책임자 회의

·국가별 문항제출 완료

·교과전문가집단의 문항제출 완료

완료

11월·평가틀 관련 사항 최종 확정 및 문서 출판

·예비 검사 도구 개발 완료 완료

12월 ·예비 검사 표집 및 질 관리 계획 수립

1999년

1월·예비 검사 자료의 결과 분석 계획 수립

·예비검사 대상 학교, 학생 선발

·검사지, 시행지침서, 채점기준표 번역 및

예비검사 도구 완성

·예비검사 실시를 위한 관계자 회의

완료2월

3월

4월 ·예비검사 실시

3월-5월 ·주관식 문항 채점, 자료 입력에 관한 국제 회의

완료

5월-7월 ·주관식 문항 채점, 자료 입력

6월-8월·자료 정리 및 처리

·예비 검사 결과에 대한 국가별 보고서 제출

7월-9월 ·예비검사 분석

9월-11월 ·99기술보고서 및 자료집 발간

11월·3차 국가연구책임자 회의(본검사 문항 승인)·4차 교과전문가집단 회의

(본검사를 위한 문항 제출 완료)

- 8 -

<표 I -3> 향후 OE CD/ P ISA 연구 추진 계획(2000년)

년도 월 계 획

1999년 12월 ·본검사용 문항 확정

2000년

1월-2월·본검사용 검사도구(설문지, 검사지) 번역

·채점기준표 작성

3월 ·학교, 학생 표집

4월 ·검사지침서 작성

5월 ·본검사 실시를 위한 계획 수립

6월·시험감독관 연수 및 표집학교 관계자 회의

·본검사 실시

7월 ·채점자 선정 및 연수

8월 ·채점실시

9월 ·전산입력

10월 ·자료송부

11월 ·기술보고서 작성 및 자료집 발간

- 9 -

II . OE C D/ P I S A 평가 개관

이 장에서는 국제 학력 평가의 연구 동향에 대해 살펴보고, OE CD/ P ISA의

개관 및 특징과 기존의 국제 학력 평가와의 차이를 살펴본다.

1 . 국제 학력 평가의 연구 동향

교육의 성취를 점검하고 평가하는 사업은 교육의 질을 체계적이고 과학적으로

관리한다는 차원에서 그 중요성이 강조되고 있다. 국제 학력 평가의 최근 동향을

살펴보기 위해, 국제 교육 성취도 평가 협회(In t ern at ion al Associat ion for t h e

Evalu at ion of E du cat ion al Ach ievem ent : IEA)에서 주관하여 추진하고 있는 제3

차 수학·과학 성취도 국제 비교 연구(Th ir d Int ern at ion al Mat h em at ics an d

Scien ce Stu dy : TIMSS), 국제 성인 문해력 조사(In t ern at ion al Adu lt Lit er acy

Survey : IALS), 국제 학생 읽기 능력 평가(P r ogr ess in In t ern at ion al Readin g

Lit er acy Stu dy : P IRLS)와 OE CD에서 주관하고 있는 OE CD/ P ISA를 비교해 보

고자 한다.

<표 II -1>의 내용을 통해 최근 국제학력비교평가의 동향을 정리해 볼 수 있

다. 최근 시행되고 있는 국제 학력 비교 평가에서는 주로 수학, 과학, 읽기 영역

을 다루고 있다. 수학과 과학에 대한 평가는 과거 IE A 주관하에 제1차, 제2차,

제3차 국제 수학·과학 성취도 평가 등을 통해 반복적으로 시행되어 왔다. 그러

나 최근 시작되거나 시행 중인 평가에는 읽기 능력에 초점을 맞춘 것들이 늘어

나고 있다. IE A의 P IRL S와 IAL S, OE CD의 P ISA 등은 읽기 영역을 평가 대

상으로 하고 있는데, 이는 읽기 능력에 대한 국제 사회의 관심이 점점 높아지고

있는 추세를 반영한 것으로 볼 수 있다. OE CD/ P ISA에서 읽기 능력을 제1주기

의 중점 영역으로 채택하고 있는데, 그 이유는 읽기 능력이 학습 능력의 기초라

고 보는 견해 때문이다. 또한 최근의 읽기 능력은 문자를 인식한다는 차원의 단

순한 능력이 아니라 인쇄 매체를 읽고, 자신에게 필요한 정보를 찾아내고, 분석

- 10 -

하고, 자신의 목적을 달성하기 위해 적절히 활용하는 능력까지를 포함하는 폭넓

은 능력으로 정의되고 있다. 이러한 능력이야말로 지식 기반 사회를 살아나가는

인간에게 가장 필요한 능력이며, 각국은 이러한 인적 자본(h u m a n cap it a l)을

교육적 노력과 투자를 통해 축적해야만 경쟁력을 가질 수 있다는 것이다. 이러

한 이유에서 읽기 능력에 대한 평가가 점차 확대되어 나가고 있는 추세이다.

<표 II -1> 최근의 국제 학력 평가 연구

TIMSS IALS P IRLS OE CD/ P ISA

평가

대상grade 4, 8, 12 일반 성인 10세 학생 만 15세 학생

평가

목적

각국의 수학과 과학

교육 성취도의 수준

과 성취도 변화를

파악하고, 수학과 과

학 성취도에 영향을

주는 요인을 종합적

으로 조사하여 수학

과 과학 교육의 현

황 파악

성인들이 사회생활

을 영위하기 위해

필요한 일상문, 문

서, 양적 자료 등에

대한 문해력 평가

학생들이 지식을 습

득하기 위해 필요한

읽기 자료 등에 대

한 문해력 평가

각 나라 학생들의

성취수준만이 아닌

국가간 비교를 통해

학생들의 성취수준

과 성취도에 영향을

주는 요소를 분석,자국의 정책결정의

기초 정보를 제공

평가

영역수학, 과학 읽기 읽기 읽기, 수학, 과학

평가

주기

TIMSS(1991∼1996)

TIMSS-R(1997∼2000)

1994년∼1995년 2001년 2000년∼2008년

주관

기관IEA IEA IEA OECD

특징

참여국의 교육과정

에 포함된 공통 내

용을 중심으로 평가

각국의 인적 자원의

질을 가늠하는 척도

로 사용

학습 초기 연령을

대상으로 한 문해력

평가

실생활 능력 평가에

중점을 둠

국제 학력 비교 평가의 두 번째 동향은 교과간의 경계가 점차 엷어져가고 있

다는 것이다. T IM SS 등의 평가에서는 수학과 과학 영역의 경계가 비교적 명확

했었고 문항에 있어서도 수학적 능력을 요구하는 문항과 과학적 능력을 요구하

는 문항을 구분하여 평가 도구를 개발하였다. 최근 실시되고 있는 평가에서는

교과간의 경계가 과거의 평가에 비해 그다지 선명하지 않고 교과간 통합의 성

- 11 -

격을 띄는 문항이 시도되고 있다. 앞서 지적한 읽기 능력의 평가에 있어서도 읽

기 내용을 벗어나 지도의 기호, 표 안의 숫자 등을 읽고 해독하는 능력을 요구

하는 문항들을 개발하는 사례가 늘고 있다.

국제학력비교평가의 또 하나의 특징적 동향은 평가의 대상이 학교에 재학하

는 학생에서부터 점차 다양한 연령층으로 확대되고 있다는 점이다. 위에서 볼

수 있는 바와 같이 P IRL S는 만10세, OE CD/ P ISA는 만15세, IAL S는 학교를

졸업한 성인 연령을 대상으로 한다. 평가 연령층의 확대는 OE CD가 야심차게

추진하고 있는 또 하나의 사업인 국제 실생활 능력 조사(In t er n a t ion a l L ife

Sk ill Su r vey: IL SS)에서도 나타난다. 이 연구 역시 성인 인구를 대상으로 각국

의 인적 자원의 질을 평가하기 위해 200 1년부터 시행될 예정이다. 이처럼 평가

대상 연령이 상하로 확대되는 것은 인간 사회가 평생 교육 체제로 돌입하고 있

기 때문이다. 평생 교육 체제 하에서는 명료한 교육의 종료 시점이 존재하지 않

고 성인들도 자기 주도적인 학습을 지속해나가야 한다. 학습 연령이 과거 초·

중·고 및 대학생으로부터 평생 성인으로 확장됨에 따라 평가 대상 연령층도

성인 인구로 연장되는 것은 당연한 일이다.

2 . OE CD/ P IS A 개 관

이 절에서는 OECD/ P ISA의 목적, 추진 체계 및 검사 설계에 대해 개괄적으로 설명

하고자 한다.

가 . OE CD/ P ISA의 목적

OE CD/ P ISA는 국제적으로 비교 가능한 학업 성취도 지표를 개발하는 데 주

안점을 둔다. OE CD/ P ISA는 만 15세 학생들이 사회 구성원으로서 생산적인 역

할(con st r u ct ive r ole)을 하기 위해 어느 정도 준비가 되어 있는지를 파악하기

위한 연구로, 학생들이 미래지향적인 시민으로 살아가는 데 필요한 읽기, 수학

적, 과학적 소양을 측정하는 것을 목적으로 한다.

OE CD/ P ISA에는 1999년 10월 현재 OE CD 회원국을 포함한 32개국이 참여

- 12 -

하고 있다. 이들 32개국은 전 세계 인구의 약 1/ 4을 차지하고 있어, 기존의 평

가 연구 중 가장 많은 인구와 관련되는 연구이다(OE CD , 1999). 또한 아시아

권역의 11개 국가를 비롯하여, 이스라엘, 터키 등의 국가들이 참여 의사를 보이

고 있어 OE CD/ P ISA가 적용되는 지역적 범위는 더욱 확대될 전망이다.

OE CD/ P ISA는 3년을 주기로 3차에 걸쳐 총 9년 동안 이루어지며, 1998년부

터 2006년까지 세 번의 주기가 반복되면서 장기간에 걸쳐 연구가 진행된다. 우

선 첫 번째 주기의 첫 해인 1998년에는 평가의 방향과 평가틀을 설정하고 예시

문항을 개발하였다, 2차년도인 1999년에는 예비 검사가 실시되고, 2000년에는

본 검사가 실시된다. 200 1년에는 본 검사 결과의 분석과 더불어 두 번째 주기

가 시작된다. 이와 유사한 방식으로 세 번의 주기가 반복되는데, 첫 번째 주기

에서는 읽기가 주 영역이고 수학과 과학이 부 영역이 되며, 두 번째와 세 번째

주기에서는 수학과 과학이 각각 주 영역이고 나머지 두 영역은 부 영역이 된다.

평가 영역은 읽기, 수학, 과학 영역 및 세 교과의 통합영역이며, 이와 더불어 정

의적인 영역의 태도나 가치관 및 학교와 학생의 배경을 파악하기 위하여 학생

설문조사와 학교 설문조사를 시행한다.

OE CD/ P ISA는 각 국가에서 이루어지는 교육이 그 국가 국민으로서 생활을

영위해 나가기 위해 필요한 것을 얼마나 잘 준비시키고 있는지 파악하기 위한

정책 지향적(policy-or ien t ed)인 성격을 띄고 있으며, 평가 결과를 3년 주기로 발

표하여 OE CD 국가들이 교육 관련 정책을 결정하는 데 도움을 제공할 수 있도

록 한것이다.

OE CD/ P ISA의 결과는 학생의 능력, 기능, 지식과 관련된 기본 자료로 기초

지표(b a sic in dica t or s) , 학생의 능력, 기능, 지식이 가족 상황 및 사회적, 경제

적, 교육적 변수와 어떻게 관련되는지 밝히는 상황 지표(con t extu a l in dicat or s) ,

9년에 걸친 시계열 자료인 경향 지표(t r en d in dica t or s) 의 세 가지 지표를 제공

하게 된다. 기초 지표와 상황 지표에 포함되는 구체적인 내용은 다음과 같다.

기초 지표

- 참여 국가 학생들의 성취 분포를 파악하고, 학생의 성취 수준에 대한 국가간 비교

- 숙달도 수준별로 학생 분포 비율 파악

- 학생들의 성취 수준과 배경 변인간의 관계 파악

- 학생들의 수행 능력의 변화 과정 파악

- 13 -

상황 지표

- 국가간의 학생 수행 능력의 차이를 학교 체제와 교수 상황의 차이로 설명할

수 있는 근거 마련

- 국가간 혹은 국가 내에서 학교간의 숙달도 차이 파악

- 학교가 학생들의 숙달도 수준과 사회·경제적 지위와의 관계를 완화시키는

지 강화시키는지 파악

- 학교/ 학급의 크기, 학교 자원 등의 학교 요인과 학생들의 숙달도 수준과

의 관계 파악 및 이들 관계의 국가 간 비교

- 학교가 학생들의 숙달도 수준과 인구 통계학적인 요소들간의 관계를 완

화시키는지 강화시키는지 파악

- 성별 간의 학업 성취 수준 차이 파악

경향 지표

- 시간의 흐름에 따른 성취 수준의 변화 추이

- 학업 성취와 배경 변인 간의 관계의 변화 추이

나 . OE CD/ P ISA 연 구 추 진 체 계

OE CD/ P ISA의 구체적인 사업은 다섯 개의 기관이 연구 연합체(con sor t iu m )

를 이루어 진행하는데, 호주의 ACE R은 평가의 기본틀 설정 및 전체적인 주관

을 하고, 네델란드의 Cit o는 주로 문항을 개발하며, 미국의 West a t은 표집, 통

계 처리 및 결과 분석을 담당한다. 1999년 7월부터는 일본의 국립교육연구소와

미국의 E T S가 연구연합체에 가입하게 되었다. 이들 기관의 주요 역할은 <표

II -2 >와 같다.

<표 II -2 > OE CD/ P ISA의 연구 담당 기관

기관명 역할

ACER 전체적인 주관

Cito 문항 개발

NIER 아시아 지역 국가의 교육적 맥락에 대한 자문

ET S 척도화

Westat 통계 처리 및 결과 분석

- 14 -

국내에서 OE CD/ P ISA의 참여 여부와 정책적 결정을 관장하는 부서는 교육부

이며, 국내 연구의 실행을 담당하는 기관은 한국교육과정평가원이다. 국내·외

의 OE CD/ P ISA 관련 기구들과 이들 간의 연구 추진 체계를 도식화하면 [그림

II -1]과 같다.

P ISA 관할

OE CD Network A(DEELSA)

최고 의사결정기구

Boar d of P art icipat in gCount r ies (BP C)

국제비교연구 주관

호주의 교육연구위원회(ACE R)

Cito Westat ETS NIER

OE CD/ P ISA관련

국내 정책 결정국내 연구 실행

교육부 한국교육과정평가원

[그림 II -1] OE CD/ P ISA 추진 체계

다 . OE CD/ P ISA의 검사 설계

OE CD/ P ISA의 대상은 대부분의 국가들에 있어 의무 교육이 종료되는 시점인

만15세의 학생들이다. 학생들이 사회 구성원으로 활동하는데 필요한 지식과 능

력을 갖추고 있는가를 파악하려는 OE CD/ P ISA의 취지에 따라, 정규 학교 뿐

아니라 직업 훈련 기관에 소속되어 있는 학생들도 평가에 포함시킨다. 평가에

참여하는 인원은 국가 당 4,500명에서 10 ,000명으로, 참여국 내 학교의 지역적

분포와 교육기관의 유형 등을 대표할 수 있는 표본을 선정하여 평가를 실시하

- 15 -

도록 한다. 표본의 선정 시에는 학년이나 학급 단위가 아닌 학생 개인을 표집함

으로써 성취수준의 학교 간 분산(b et ween -sch ool var ian ce) 및 학교 내 분산

(w it h in -sch ool var ian ce)을 추정하고자 한다.

OE CD/ P ISA를 위한 검사지는 총 9종으로 각 검사지 내에는 서로 다른 문항

이 포함되어 있다. 9종의 검사지 중 읽기가 5종, 수학과 과학이 각각 1종, 읽기,

수학, 과학 및 통합 문항이 섞여 있는 검사지가 2종이다. 학생들은 9종의 검사

지 중 하나를 배정받아 약 120분 동안 검사를 치르도록 되어 있다.

설문지는 학교와 학생을 대상으로 하고 있는데, 학교 설문지는 1종으로 모든

학교가 동일한 설문지에 응답을 하게 된다. 학생 설문지는 3종으로 개발되어 있

는데, 설문문항의 주요 내용에 따라 학교, 독서, 가족 모형으로 각각 불린다. 학

생들은 3종의 설문지 중 하나를 배정받아 약 30분 동안 설문 문항에 응답하도

록 되어 있다. 1차 주기의 본검사는 2000년에 시행될 예정이며, 이를 위한 예비

검사가 1999년 6월을 기해 대부분의 참여국 내에서 완료된 상태이다.

3 . OE CD/ P IS A의 특 징

이 절에서는 OE CD/ P ISA의 특징인 실생활 능력 강조와 통합적 성격의 문항

개발에 대해 논하기로 한다.

가 . 실생 활 능 력 (L if e sk il ls ) 강 조

OE CD/ P ISA는 "학교교육이 학생들에게 장차 사회에 나가서 생산적인 사회구

성원의 역할을 수행해낼 수 있는 준비를 제대로 갖추어 주고 있는가?"를 알아보

려는데 일차적인 관심이 있다. 생산적인 사회구성원에게 요구되는 능력은 창의

성, 사고의 유연성, 비판적 분석력, 자신의 생각을 효과적으로 표현하고 전달하

는 능력 등이다. 이러한 능력은 개별 교과 내에서 가르칠 수 있는 것이 아니라,

개별 교과에서 습득한 지식을 적용하고, 분석하고, 통합하는 훈련을 통해 얻어

진다.

이에 따라 OE CD/ P ISA에서 측정하고자 하는 능력은 특정 교과 내의 단편적

- 16 -

인 지식이 아니라 해당 교과의 지식과 능력을 바탕으로 현상을 분석하고, 추론

하고, 자신의 생각을 효과적으로 표현할 수 있는 폭넓 은 개 념 의 습 득 (m a st er y

of br oa d con cept s) 으로 규정된다. 폭넓은 개념의 습득은 급변하는 사회에서 개

인의 직업과 사회에 기여하기 위한 가장 중요한 능력(k ey com p et en cy)으로 규

정된다.

보다 폭넓은 개념에 대한 평가를 강조하는 이유는 국가의 교육체제를 통한

인적자본의 축적에 대한 관심이 점점 고조되고 있기 때문이다. OE CD에 의하면

인적자본이란 개인적 , 사회적 , 경제적 안녕을 위해 개인에게 필요한 지식 , 기능 ,

능력 및 기타 특성 으로 정의된다(OE CD, 1999). 이러한 인적자원의 축적 정도

를 파악할 수 있는 직접적인 방법은 없었고, 각국 인구의 교육수준에 대한 통계

자료를 통해 간접적으로 추정하는 정도였다. OE CD/ P ISA는 각국 인적 자원 수

준을 보다 직접적으로 파악하기 위한 한 방안으로서, 의무교육이 종료되는 시점

인 만15세에 성인으로서의 삶을 영위해 나갈 수 있는 준비정도(pr ep ar edn ess

for life)와 자기 주도적으로 평생학습을 지속할 수 있는 능력을 평가하려는 것

이다. 실생활능력에 초점을 둔 OE CD/ P ISA의 내용은 성인에게 필요한 능력이

무엇이며, 이들 능력을 보다 실생활 상황과 과정, 그리고 해결해야 할 문제를

중심으로 구체화하여 제시하려고 노력하였다. 평가틀을 설정함에 있어 평가의

영역을 인간의 삶에 필요한 읽기 소양, 수학적 소양, 과학적 소양의 세 개 내용

영역으로 나누되, 이들 소양이 각기 독립된 능력이 아니라 상호간에 밀접하게

관련된 것으로 규정하였다.

이러한 논의를 종합해 볼 때, OE CD/ P ISA는 학교에서 실제로 가르치는 것 '을

평가하는 것이 아니라, 학교교육을 통해 갖추어야 할 능력 에 초점을 두는 평가

라 할 수 있다.

나 . 통합 적 성 격의 문항 개발

OE CD/ P ISA 평가 문항의 가장 큰 특징 중의 하나는 통합 을 추구하는 것으

로, 하나의 평가 과제(t a sk )에 읽기, 수학, 과학 요소를 통합적으로 포함시킴으

로써, 통합의 아이디어를 구체화하고 있다. 초기에는 OE CD/ P ISA가 기존의 평

가와 차별화되는 점으로 통합 을 적극적으로 부각시켰으나, 예비검사 문항을 개

- 17 -

발하고 연구를 점차 진행시키면서 통합을 전면적으로 내세우지 않게 된 것은

사실이다. 그 이유는 이론적으로는 통합의 아이디어를 살려 교육과정을 편성하

고 수업을 하고 평가하는 것이 바람직하다고 판단되지만, 실제로 통합의 의미를

잘 보여줄 수 있는 평가 문항의 개발이 어렵기 때문이다.

이 절에서는 통합 에 대하여 이루어져 온 기존의 논의를 정리하고, 이를 토대

로 OE CD/ P ISA에서 시도하고 있는 통합 문항의 성격을 규명하고자 한다.

1 ) 통합의 필 요성

통합 교육과정이나 통합적인 수업이 필요한 이유는 일반적으로 다음 세 가지

측면에서 논의된다. 첫째, 인식론적 측면에서 볼 때, 통합은 지식의 팽창, 지식

의 유용성 상실, 지식의 분과화라는 현상에 능동적으로 대처하고, 다양한 지식

영역들간의 상호 관련성을 증대하기 위해서 필요하다. 둘째, 심리적인 측면에서

볼 때, 통합된 수업은 심리적 기초에 따라 교육과정을 조직하고, 학생의 요구,

흥미, 호기심, 활동에 근거해서 학습 경험을 제공하므로 학습이 용이하게 일어

날 수 있고, 일상 실생활의 구체적인 경험이나 실제적인 상황과 밀접한 관련을

맺게 되므로, 학습하는 내용이 추상적인 수준에서 머무르지 않게 된다. 셋째, 사

회적인 측면에서 볼 때, 통합이라는 간학문적 접근(in t er d iscip lin ary appr oa ch )

에 의해서 현대 사회의 여러 가지 문제점들을 해결할 수 있으며, 결과적으로

형식적 학습의 장(場)인 학교와 비형식적 학습의 장(場)인 사회를 밀접하게 연

결시킬 수 있다.

위에 기술한 통합 교육과정이나 통합적인 수업의 필요성은 평가에서의 통합

의 필요성으로 해석될 수도 있다. 학생들은 통합 문항을 통해, 여러 교과간의

유기적인 상호 관련성을 인식할 수 있으며, 평가에서 제시된 상황이 일상 실생

활의 구체적인 경험과 밀접하게 관련이 되어 있으므로 생동감을 느낄 수 있다.

특히 현대 사회에서 개인이나 사회가 공동으로 당면하는 문제를 해결하기 위하

여 필요로 하는 지식은 어느 특정 분야에 국한된 분절적인 지식이 아니라, 여러

분야의 것을 종합하여 응용할 수 있는 통합된 지식이므로, 분과 중심의 교과 내

용이 아닌 통합적 안목을 평가의 대상으로 삼는 것이 필요하다.

- 18 -

2 ) 통합의 유 형

통합을 분류하는 관점은 여러 가지인데, 통합의 접근 방법에 따른 분류, 통합

의 형태에 따른 분류, 통합의 학습 요소에 따른 분류, 학문이 연결되는 방식에

따른 분류로 구분하여 논의하고 있다(김종건, 권낙원, 박영우, 이상혁, 권재숙,

조난심, 이종원, 김재형, 최병순, 최용규, 1996).

우선 통합의 접근 방법에 따라서 논리적·구조적 통합과 심리적·기능적 통합

의 두 가지로 구분할 수 있다. 전자는 지식의 분절화로 야기되는 여러 가지 단

점을 보완하고, 지식을 통합된 형태로 제시하기 위해서 지식을 어떻게 조직할

것인가에 관심이 있다면, 후자는 실제 경험적인 활동과 더불어 지식을 통합적

관점에서 활용할 수 있게 하려는 학생중심, 경험중심의 접근이라고 할 수 있다.

둘째, 통합의 형태에 따라 합산적 통합, 기여적 통합, 융합적 통합, 종합적 통

합의 네 가지로 구분할 수 있다. 합산적 통합은 통합의 가장 기본적인 방식으로

둘 이상의 교과 영역을 분리해서 별도로 가르치지 않고 더 포괄적인 단위를 만

들기 위해 상호 연결하는 방식이며, 기여적 통합은 상관적 통합이라고도 하며

합산적 통합보다는 두 개 또는 그 이상의 교과목 사이에 관계가 밀접하다고 할

수 있다. 융합적 통합은 단순히 둘 이상의 교과 내용을 재조직한다거나 한 교과

의 내용을 다른 교과의 내용으로 보완하는 것이 아니라, 교과들간에 중복되는

원리, 공통의 쟁점과 관심사에 기초해서 교육과정을 완전히 재구성하는 방식이

다. 종합적 통합은 여러 교과들이 더 통일성 있게 묶이거나 또는 일반적인 아이

디어나 중복되는 개념에서 출발하여 그것을 가르치는 데 도움이 되는 여러 교

과에서 자료를 빌려옴으로써 교육과정을 구성한다.

셋째, 통합의 학습 요소에 따라서는 주제 중심 통합 , 기초학습 기능 중심 통

합 , 탐구 중심 통합 , 경험 중심 통합 , 활동 중심 통합 , 필요와 흥미 중심 통합 ,

문제 중심 통합으로 구분할 수 있다.

넷째, 학문이 연결되는 방식에 따라 다학문적 통합, 간학문적 통합, 탈학문적

통합의 세 가지로 분류할 수 있다. 다학문적 (m u lt id i sc ip l in a ry ) 통합은 여러

가지 사회 현상이나 자연 현상, 인간 실생활에서 나타나는 문제나 주제와 관련

하여 그 해결책을 탐구하는 과정에서 여러 학문이나 교과가 다양하게 동원됨으

로써 통합이 이루어지는 방식을 말한다. 간학문적 (in te rd isc ip l in a ry ) 통합은

둘 이상의 학문의 구조적 관련성을 고려하여 한 학문의 분야에 다른 학문 분야

의 탐구 방법이나 모형을 적용하여 관련된 내용을 구조적으로 통합하는 방식으

- 19 -

로, 여러 학문이 같은 수준에서 공존하면서 새롭고 의미있는 종합이 이루어지게

된다. 탈학문적 (e x tra d i sc ip l in a ry ) 통합은 학문들간의 연결을 중심으로 통합하

는 것이 아니라 학생의 입장에서 자유로운 문제해결 과정을 통해 이루어지는

통합이다.

3 ) OE CD/ P I SA 통합 문항 의 성격

이 절의 도입부에서 언급한 바와 같이 1999년에 시행된 예비검사 문항들을 분석

해 보면 OE CD/ P ISA가 초기에 의도하던 것에 비해 통합의 아이디어가 다소 희석

되어 반영되어 있음을 알 수 있다. 각 교과의 내용을 분절화된 상태로 가르치고 평

가하는 것보다는 의미있게 통합적으로 접근한다는 아이디어가 그 근본 취지에 있

어서는 큰 공감을 일으키나, 구체적으로 구현하기는 어렵기 때문이다.

통합 문항이 각 교과에 대한 독립적인 문항보다 교육적으로 큰 의미를 갖는 것

은 사실이나, 읽기, 수학, 과학의 내용을 통합적으로 평가해야 한다는 강박관념에

빠져 무작정 여러 교과들을 통합하여 평가하려고 하다가는 오히려 각각의 교과별

로 평가하는 것에 비해 오히려 효율성을 떨어뜨릴 가능성도 있다. 이와 같은 통합

을 위한 통합의 가장 큰 문제점은 동일한 본문을 중심으로 서로 다른 교과의 내용

을 평가한다 하더라도, 그 각각의 교과 내용은 상이한 학문적 구조를 반영하고 있

는 만큼 하나의 본문 아래 여러 교과 내용에 대한 평가 문항을 단순히 모아 놓은

것 이상이 되기 어렵다는 본질적인 난점에 있다(김승호, 1999).

읽기, 수학, 과학 문항으로 분류된 문항 중에도 통합적인 접근을 취한 문항이

있지만, 명시적으로 통합 문항이라고 구분되어 있는 것은 옥수수 과제와 초컬

릿 과제이다. 옥수수 과제와 초컬릿 과제는 검사지 1과 2에 중복되어 포함되

어 있는데, 두 검사지에 제시되어 있는 옥수수 과제와 초컬릿 과제의 본문은

일치하나, 문항 중 일부는 두 검사지에 공통적으로 포함되어 있는 반면, 일부는

한 검사지에만 제시되어 있다.

앞에서 정리한 통합에 대한 분류들은 평가를 염두에 둔 분류가 아니라 통합

교육과정이나 통합 수업에 적용되는 분류들이다. 그러나 평가 상황을 대상으로

하는 통합에 대한 논의는 찾아보기 어려우므로, 다소 성격이 다르기는 하지만

앞의 분류에 준하여 OE CD/ P ISA 통합 문항의 성격을 밝히고자 한다.

첫째, 통합의 접근 방법에 따를 때, OE CD/ P ISA의 통합 문항은 논리적·구조

적 통합보다는 학습자의 심리에 근거하거나 학생들이 살고 있는 사회적 맥락의

- 20 -

문제를 다룬다는 점에서 심리적·기능적 통합의 성격을 띤다고 할 수 있다.

둘째, 통합의 형태에 따른 구분에서 OE CD/ P ISA는 합산적 통합 정도에 해당

한다고 할 수 있다. OE CD/ P ISA의 통합 과제인 옥수수 와 초컬릿 은 하나의 본

문에 대하여, 읽기적 소양, 수학적 소양, 과학적 소양에 해당하는 발문들을 독립

적으로 제시하고 있다. 문항에 따라서는 읽기적 소양을 측정하기 위한 문항이지

만 부수적으로 수학적 소양과 과학적 소양을 필요로 하는 경우도 있고, 수학적

소양이나 과학적 소양이 핵심을 이루고 읽기적 소양이 보조적인 역할을 하는

경우도 있다. 그러나 각각의 소양들 사이의 관련성이 그리 높지는 않다는 점에

서 합산적 통합으로 보는 것이 합리적일 것이다.

셋째, 통합의 학습 요소에 따른 구분에서 OE CD/ P ISA는 교과간의 경계를 가

로질러서 주제를 탐색한다는 점에서 주제 중심 통합에 해당한다고 볼 수 있다.

넷째, 학문이 연결되는 방식에 따른 구분에서 OE CD/ P ISA는 다학문적 통합

의 성격을 띤다고 볼 수 있다, 즉 인간 실생활에서 나타나는 여러 가지 현상이

나 문제, 주제와 관련하여 그 해결책을 탐구하는 과정에서 여러 학문이나 교과

가 다양하게 동원되면서 통합이 이루어지기 때문이다.

통합 에 대하여 현재까지 논의되고 분류되어온 구분들에 따를 때,

OE CD/ P ISA 통합 문항이 어디에 해당하는 지 밝히기 위한 논의를 표로 정리하

면 <표 II -3>과 같다. 다음의 진하게 표기된 부분이 OE CD/ P ISA의 문항이 해

당되는 통합의 유형이다1).

<표 II -3> OE CD/ P ISA의 통합 문항의 성격

통합 의 접근 방법 통합 의 형태 통합의 학 습 요소 학문이 연결되는 방식

논리적·구조적 통합

심리적·기능적 통합

합산적 통합

기여적 통합

융합적 통합

종합적 통합

주제 중심 통합

기초학습기능 중심 통합

탐구 중심 통합

경험 중심 통합

활동 중심 통합

필요와 흥미 중심 통합

문제 중심 통합

다학문적 통합

간학문적 통합

탈학문적 통합

1) 위에서도 밝혔듯이, 통합에 대한 여러 가지 분류들이 평가를 염두에 둔 것이 아니기

때문에, 적절한 준거에 따라 구분했다고 보기는 어려우며, OECD/ PISA의 통합 문항

을 조망하는 관점에 따라 다른 견해가 가능할 것이다.

- 21 -

4 . OE CD/ P ISA와 기존의 국제 학력 평가와의 차이

지난 40여 년간 IE A나 E T S에서 실시해 온 여러 국제 학력 평가들은 지금까

지 발전을 거듭하여 왔으나, 이들 평가에서는 제한된 과목(주로 수학과 과학)에

서 학생들이 알고 있는 단편적이고 부분적인 지식만을 평가하는 데 초점이 맞

추어졌다. 특히, 이들 평가는 참여국들의 교육과정에 공통적으로 포함되어 있는

학교 교육과정의 내용에 준하여 이루어졌기 때문에, 몇몇 국가에서 아무리 중요

하게 다루는 내용이라도 다른 국가의 교육과정에서 다루어지지 않는 지식이나

능력은 제외되는 경우가 많았다. 즉 기존의 국제학력비교평가는 모든 참여국의

학교에서 공통적으로 가르치고 있는 지식 에 초점을 두는 평가라고 볼 수 있다.

이에 반해 OE CD/ P ISA는 학교교육이 학생들에게 장차 사회에 나가서 생산

적인 사회구성원의 역할을 수행해낼 수 있는 준비를 제대로 갖추어 주고 있는

가? 에 초점을 맞춘다. OE CD/ P ISA에서 측정하고자 하는 능력은 특정 교과 내

의 단편적인 지식이 아니라 해당 교과의 지식과 능력을 바탕으로 현상을 분석

하고, 추론하고, 자신의 생각을 효과적으로 표현할 수 있는 소양(lit er a cy) 으로

규정된다. 이러한 소양은 사회 생활을 영위하거나 고등 교육을 받음에 있어 반

드시 필요한 핵심능력(k ey com pet en cy)으로 인식되고 있으며, 읽기 소양, 수학

적 소양, 과학적 소양의 세 개 영역으로 세분화되어 평가문항이 개발되었다.

OE CD/ P ISA가 기존의 학력 평가 국제 비교 연구들과 분명하게 다른 점은

다음과 같이 요약될 수 있다. 첫째, OE CD/ P ISA의 가장 두드러진 특징은 정부

차원에서 마련된 국제비교평가라는 점이다. 사실 학생들의 학력을 평가하기 위

한 국제비교평가는 1960년대 이래 국제교육성취도평가협회(IE A)와 미국의 교육

평가원(E TS)등의 주관하에 지속적으로 실행되어왔 다. 그러나 이들 평가는 민

간 기관이 주도하였으며, 참여국 내에서도 국가적 사업으로 추진되기는 하였으

나, 평가 참여에 대한 의지를 정부차원에서 표명하고, 참여국으로서의 권리를

행사한 것은 아니었다. OE CD/ P ISA가 기존의 국제학력비교평가와 다른 점은

정부차원에서 국제학력비교평가를 발의하고, 평가의 전 과정에서 국가의 공식적

인 입장을 표명한다는 데 있다.

두번째 특징은 OE CD/ P ISA의 지속성과 규칙성이다. OE CD/ P ISA 연구는 총

9년간에 걸친 지속적인 활동으로 설계되어 있다. 전 9년에 걸쳐 읽기, 수학, 과

- 22 -

학 영역의 성취도를 평가하되 3년마다 주영역과 부영역을 순환하도록 되어 있

다. 즉 1차 주기에 해당하는 1998년부터 2000년까지의 3년은 읽기를 주영역으

로 하고, 수학, 과학을 부영역으로 하며, 2차 주기인 200 1년부터 2004년의 3년

간은 수학을 주영역으로, 읽기와 과학을 부영역으로 하며, 3차 주기인 2005년부

터 2008년에는 과학을 주영역으로, 읽기와 수학을 부영역으로 평가할 계획이다.

세 개 영역에 대한 학생들의 성취수준의 추이를 파악함으로써 각 참여국별로

주요 학습 목표를 정기적이고 예상 가능한 차원에서 검토할 수 있도록 하고 있

다.

셋째로, OE CD/ P ISA는 각국의 의무 교육이 종료되는 시점인 만 15세 학생들을

대상으로 하고 있다. 만 15세 학생들의 실생활 능력(life skill)에 대한 평가를 통해

각국 교육체제의 성과와 효율성을 점검할 수 있는 기회를 제공해 주며, 이를 통해

각국 교육체제와 교육과정, 교수-학습 방법을 개선할 수 있게 될 것이다.

넷째로, OE CD/ P ISA의 기본적이고도 야심있는 의도의 핵심은 학교 교육과정

보다는 미래에 유용하게 활용될 기능을 평가하려는 것이다. 사실 학교 교육의

목적이 젊은이들로 하여금 인생을 준비하는 과정이기 때문에, 학 교 에서의 능

력과 실 생 활 에서의 능력을 구분하는 것 자체가 임의적일 수도 있으나 이를

구분할 필요는 있다고 본다.

사실 학교 교육과정이라는 것은 일반적으로 달성해야 할 지식과 기능의 집합

체라고 할 수 있다. 교육과정에서는 성인이 되어 활용하게 될 지식에 관해서는

소홀히 하는 경향이 있다. 더욱이 학교 교육과정은 통합 교과적 능력에는 거의

관심이 없으며, 실생활에 적용하여 문제를 해결하는 측면은 거의 포함하지 않고

있다. OE CD/ P ISA는 학교 교육과정에 근거한 지식은 측정에서 배제하고, 넓은

범위의 지식과 적용된 형태의 지식을 주로 측정하고자 한다.

- 23 -

III . OE C D/ P IS A의 평가틀

이 장에서는 지금까지 실시해 온 국제 학력 평가의 평가틀을 인지검사와 배

경변인의 두 부분으로 나누어 살펴보고자 한다. 먼저 인지 검사 부분에 있어서

읽기, 수학, 과학 영역 평가에서의 평가틀을 비교하고, OE CD/ P ISA에서 사용되

는 읽기, 수학 및 과학의 평가틀에 대해 각각 살펴보고자 한다. 또한 배경변인

설문영역에서 사용되는 평가틀을 N AE P 와 TIM SS를 중심으로 알아보고,

OE CD/ P ISA에서 다루어지는 설문지 개념적 모형을 살펴보고자 한다.

1 . 인 지검사 평가틀

인지검사문항에서의 국제 학력 평가의 평가틀을 비교하기 위해 국제 교육 성

취도 평가협회와 미국의 교육평가원에서 주관하고 있는 읽기, 수학, 과학 학력

평가의 평가틀을 각각 자세히 살펴보고자 한다. 그리고, OE CD/ P ISA의 평가틀

을 읽기, 수학, 과학의 영역별로 분류하여 각각의 구조를 살펴보고 이에 대한

논의를 부연하고자 한다.

가 . 기존 의 국 제 학 력 평 가의 평가 틀

지금까지 실시해 온 국제 학력 평가의 평가틀은 크게 국제 교육 성취도 평가 협회

와 미국의 교육 평가원이 주관해 온 수학과 과학 학력 평가를 중심으로 살펴본다.

IE A가 설립된 이래 읽기를 비롯하여, 수학과 과학 등 교과 교육에 대한 국제

비교 연구를 여러 차례 수행해 왔다. 또한 1994년 IE A가 12개국의 성인을 대

상으로 실시한 국제성인문해력평가는 OE CD/ P ISA 평가, 특히 읽기 영역의 평

가의 모체역할을 하였다.

1960년대와 19 70년대 초반에 수행된 제1차 성취도 국제 비교 연구와 1980년

대에 수행된 제2차 성취도 국제 비교 연구는 수학과 과학 교과에 대하여 각각

- 24 -

독립적으로 시행되었으나, 제3차 국제 비교 연구에서는 수학과 과학을 통합하여

검사가 실시되었다. 수학의 경우, 우리 나라는 제1차 수학 성취도 국제 비교 연

구(F ir st In t er n a t ion a l M at h em at ics St u dy: F IM S)와 제2차 수학 성취도 국제

비교 연구(Secon d In t er n a t ion a l Mat h em at ics St u dy: SIM S)에는 참여하지 않

았다. 한편, 과학의 경우 제1차 과학 성취도 국제 비교 연구(F ir st

In t ern a t ion a l Scien ce St u dy: F ISS)에는 참여하지 않았으나, 제2차 과학 성취

도 국제 비교 연구(Secon d In t er n a t ion a l Scien ce St u dy: SISS)에는 참여하였

다. 또한, 수학과 과학의 평가를 동시에 실시한 제3차 수학·과학 성취도 국제

비교 연구(Th ir d In t ern a t ion a l M at h em at ics a n d Scien ce St u dy: TIM S S)와

제3차 수학·과학 성취도 국제 비교 반복 연구(Th ir d In t er n a t ion a l

Mat h em a t ics an d Scien ce St u dy-Rep ea t : T IM S S-R)에는 참여하였다.

IE A가 주관한 국제학력비교연구를 참여국 규모, 우리나라의 참여 여부, 연구

기간별로 정리하면 <표 III -1>와 같다.

<표 III -1> 국제 학력 비교 연구의 개요

주관 기관 국제 비교 연구의 명칭 참여국우리나라

참여여부연구 기간

국제교육

성취도

평가협회

(IEA)

국제성인문해력조사(IALS) 12개국 × 1994-1995

제1차 수학 성취도 국제 비교 연구 (FIMS) 12개국 × 1964-1967

제1차 과학 성취도 국제 비교 연구 (FISS) 21개국 × 1968-1973

제2차 수학 성취도 국제 비교 연구 (SIMS) 20개국 × 1981-1986

제2차 과학 성취도 국제 비교 연구 (SISS) 28개국 ○ 1981-1985

제3차 수학·과학 성취도 국제 비교 연구 (TIMSS) 46개국 ○ 1991-1996

제3차 수학·과학 성취도 국제 비교 반복 연구

(TIMSS-R)40개국 ○ 1997-2000

미국의

교육평가원

(ETS)

제1차 국제 교육 발전 평가 (IAEP I) 6개국 × 1987-1988

제2차 국제 교육 발전 평가 (IAEP II) 20개국 × 1989-199 1

<표 III -1>에 제시된 국제 비교 평가 연구의 성격과 평가틀을 좀더 자세히 살

펴보고자 한다.

- 25 -

1 ) 국제 성인 문해력조사 (IAL S )

국제 성인문해력조사는 IE A의 주관하에 성인들의 문해력에 대한 지표와 자

료를 수집하기 위한 것으로 1994년과 1995년에 실시되었다. 이 조사는 단순한

문해능력만을 평가하는 것이 아니라, 성인들이 사회 생활을 영위하기 위해 필요

한 능력을 평가하는 것으로, 자체적으로 설정한 척도점수에 따라 평가결과를 보

고하였다.

IAL S의 읽기 문항 중 상당수가 OE CD/ P ISA에 포함되어 있는데, 이는 성인

을 대상으로 하는 읽기 능력 수준과 15세 학생들의 읽기 능력 수준을 비교하기

위함이다.

IAL S에서는 읽기 소양을 급변하는 국제 사회에서 개인의 직업과 사회에 기

여하기 위한 가장 중요한 소양이라고 규정, 다음과 같이 정의하고 있다.

읽기 소양은 개인의 자기 실현 목표를 달성하고 자신의 지식과 잠재 능력을

개발하기 위하여 가정, 직장 및 사회에서의 일상생활에 필요한 글로 된 정보

를 이해하고 활용하는 능력을 일컫는다.

IAL S에서는 읽기 능력을 크게 산문 읽기 소양(pr ose), 문서 읽기 소양

(docu m en t ), 그리고 양적자료 읽기 소양(qu an t it a t ive l it er a cy)의 세 가지 영역

으로 구분한다. 산문 읽기는 잡지, 뉴스, 시, 소설 등이 포함되며, 문서 읽기는

다양한 서식으로 된 글로 이력서, 영수증, 교통편 시간표, 지도, 표나 그래프 등

이 해당된다. 양적자료 읽기는 수식 계산, 숫자가 포함된 문서, 예를 들면 은행

수표, 주문서 쓰기 광고에 제시되어 있는 대출 금액 파악하기 등이 포함된다.

IAL S는 읽기 능력 수준을 구분하는 데 있어 미국의 교육평가원에서 도입하

고 있는 문항반응이론을 적용, 문항 곤란도와 성취 기준을 측정하여 척도 점수

에 따라 읽기 능력을 5개 수준으로 제시하고 있다(1수준 : 0 -225, 2수준 :

226 -275, 3수준 : 2 76 -325, 4수준 : 326 -375, 5수준 : 376 -500). IAL S 읽기 점

수척도에 나타난 각 수준의 읽기 능력을 행동적 용어로 구체화하면 <표 III -2 >

와 같다.

- 26 -

<표 III -2 > IAL S 읽기 수준 및 문항 유형

산 문 (P ro se ) 문 서 (D o cu m e n t) 양적자 료 (Qu a n t i ta t iv e )

1

수

준

문항에서 한개의 정보를 찾음

문항에서 요구하는 답이 본문

에 정확하게 기술되어 있음

오답을 유도할 만한 내용이

본문에 포함되어있지 않음

문항에서 한개의 정보를 찾음

문자적 이해에 근거함

오답을 유도하는 내용이 해당

단락과 떨어져 있음

어떤경우 평가자 대상자는 자

신의 정보를 기입해야함

본문에 포함되어 있는 하

나의 간단한 수식(대개 덧

셈)을 이해함 .

독자가 수식을 풀어서 이

해하는 능력을 요구하지

않음

2

수

준

하나 이상의 정보를 찾음

몇개의 오답을 유도할 만한

내용이 본문에 포함되어 있음

간단한 추론 문항을 포함

두가지 이상의 정보를 통합하

거나, 비교, 대조함

다양한 서식이 포함됨 .

오답을 유도할 만한 내용을 포

함하고 있고 간단한 추론함

서식에 정보를 기입하거나 가

려내거나 추출함

본문에 포함되어있는 간단

한 수식 (덧셈, 뺄셈)을 이

해함 .

간단한 수식은 기술되어

있는 문항이나 서식 형태

에서 추론함

3

수

준

간단한 수준의 추론을 하기

위하여 본문의 정보를 종합하

거나 비교함 .

여러 다른 문장이나 문단에

제시되어 있는 정보를 찾아

냄.

여러 문단의 내용을 종합하거

나 대조, 비교함 .

매우 다양한 서식을 포함함

다양한 정보를 가려내거나 조

화시키기 위하여 가정적 정보

를 활용함 .

한 개 이상의 정보를 종합하며

여러 가지 정보를 얻기 위하여

서식들을 분석함 .

본문에 포함되어 있는 수

식을 이해하는 데 덧셈, 뺄

셈 뿐 아니라 곱셈, 나눗셈

을 포함함

두개 이상의 숫자가 포함

되어 있으며 서식이 복잡

함 . 얼마나 , 차이를 계산

하시오 등의 문제가 제시

되기도 하지만 때때로 복

잡한 추론을 해야함.

4

수

준

본문에 근거한 추론에 대한

근거를 대거나 여러 가지 요

소들을 종합함.

상대적으로 긴 본문의 내용을

종합하거나 비교

대체적으로 이러한 본문들은

오답을 유도할 만한 내용을

포함하고 있으며 정보가 보다

추상적임

여러가지 정보를 얻거나, 종합

하기 위하여 다수의 서식들을

분석함

난이도가 높은 추론을 요구하

며 독자 스스로 가정하여 답을

찾아야 하는 경우가 있음

숫자나 양을 쉽게 파악할

수 없는 문항을 포함함

본문 문항에서 얼마나 , 차

이를 계산하시오 등의 문제

가 직접적으로 제시되지

않음 .

5

수

준

본문의 내용이 어렵고 오답을

유도할 수 있는 내용을 포함

난이도가 높은 추론을 하거나

전문 지식을 요구함

복잡하고 많은 오류를 유도하

는 내용을 포함한 서식에서 정

보를 찾아낸다 .

난이도 높은 추론을 하며 가정

적 정보 혹은 전문 지식을 활

용함.

단계적으로 복잡한 계산을

요구함.

본문에 제시되어 있는 내

용을 분석하고 기본적으로

가지고 있는 지식을 활용

하여 수량이나 계산에 관

련된 내용을 파악함

- 27 -

2 ) 제 1차 수 학 성취도 국제 비교 연구 (F IM S )의 평 가틀

F IM S는 <표 III -3>의 내용(con t en t )-행동(b eh avior ) 영역 구분을 중심으로 평

가틀을 구성하였다. 내용 영역에서 집합 이 독립된 영역으로 설정된 것은 학문

중심 교육과정에 따른 새수학 의 영향이라고 볼 수 있다. 행동 영역은 Bloom 의

교육 목표 분류를 근간으로 하고 있으나, 자료를 기호와 구조로 변환하기와 그

역방향으로의 변환 과 같이 구체적인 능력이나 창의력 과 같이 고차적인 사고

기능을 포함시키고 있는 점에서 그 특징을 찾아볼 수 있다.

<표 III -3> F IM S 수학 평가틀

행동 영 역

내 용 영역

지식 과

정보

기 술과

기능

자료를 기 호와 구조 로

변환 하기와

그 역방향 으로의 변 환

이 해 창의 력

기본 산술

고등 산술

기초 대수

중급 대수

유클리드 기하

해석기하

집합

삼각법

해석학

미적분학

통계

논리

아핀 기하

3 ) 제 2차 수 학 성취도 국제 비교 연구 (S IM S )의 평가틀

SIM S의 수학 평가틀 역시 내용과 행동의 이원 분류를 적용하고 있는데, 행

동 영역은 계산, 이해, 적용, 분석 으로 구분한 Wilson (197 1)의 방식을 따르

고 있다. Wilson은 Bloom 의 교육 목표 분류를 기본으로 하되 수학 교과의 특

성을 살려 지식 을 계산 으로 대체하였으며, 상위 인지 단계에 해당하는 분석,

종합, 평가 를 분석 으로 통합하였다. 한편 내용 영역은 <표 III -4 >과 <표

III -5 >와 같이 학년과 모집단에 따라 상이한 구분을 적용하였다.

- 28 -

<표 III -4 > SIM S 수학 평가틀 (만 13세 학생)

내용 영 역

행 동 영역산술 대수 기하 기 술 통계학 측 정

계산

이해

적용

분석

<표 III -5> SIM S의 수학 평가틀 (중등 학교의 마지막 학년)

내용영 역

행 동 영역

집합과

관 계수 체계 대 수 기하

기초

함수와

미적분학

확률 과

통계

유한

수학

컴 퓨터

공학논 리

계산

이해

적용

분석

4 ) 제 2차 과 학 성취도 국제 비교 연구 (S IS S )의 평가틀

F ISS에서의 과학 평가틀을 기초로 만들어진 SIS S(Secon d In t er n a t ion a l

Scien ce St u dy) 과학 평가틀은 행동 영역과 내용 영역으로 구분하여 제시하였

다(표 III -6). 내용 영역은 지구 과학, 생물, 물리, 화학 등 4개의 과학 영역들로

나누어지며, 이들은 다시 다수의 하위 세부 내용 영역들로 나뉘어진다. 한편, 행

동 영역은 Bloom 의 교육 목표 분석 방식에 근거해 지식, 이해, 적용 의 세 차

원으로 구분되었는데 적용 차원은 실제에 있어서는 종합, 분석 등의 상위 행

동 영역을 포함하고 있다.

<표 III -6 > SISS 과학 평가틀

내 용영역

행 동 영역물리 화학 생물 지구 과학

지식

이해

적용

- 29 -

5 ) 제 3차 수 학·과학 성취도 국 제 비교 연구 (T IM S S )의 평가틀

TIMSS의 수학 평가틀은 내용(cont ent ), 성취 기대(per form an ce expect at ion), 전

망(per spect ive) 등의 세 개 축을 설정하고 삼원 분류를 시도하였다(표 III -7). 대부

분의 이원 분류에서는 정의적 영역에 해당되는 것을 인지적 영역과 함께 행동

차원에 포함시켰으나, 교수·학습에 있어서의 태도나 가치관 등의 중요성을 인

정하여 하나의 독립된 차원으로 설정하였다(IE A/ TIM SS/ ICC, 199 1).

<표 III -7> TIM S S 수학 평가틀

교 과 내 용

성 취 기 대수 측정

기 하 :

위치 ,

시 각화 와

모양

기 하 :

대칭 ,

합 동과

닮 음 변 환

비 례

함 수

관계 와

방정 식

자 료

표 현 ,

확률 과

통 계

기 초

해 석

타당 화

와 구조기 타

인지

표상

동치 관계의 인식

수학적 대상과

성질의 회상

기계적

절차의

이용

도구의 이용

기계적 절차의 수행

복잡한 절차의 이용

탐구와

문제

해결

문제와 상황의

형성과 명료화

전략의 개발

해결

예측

확인

수학적

추론

기호와 용어의 개발

알고리즘의 개발

일반화

추측

정당화와 증명

공리화

의사

소통

용어와 기호의 사용

표상의 연결

설명과 토론

비평

- 30 -

TIM S S 과학 평가틀도 수학과 마찬가지로 내용, 성취 기대, 전망 등 3개

영역으로 나누어진다. 내용 영역은 학교 과학의 주제별 내용을 나타내고, 성취

기대 영역은 학교 과학에서 학생들로부터 기대되는 여러 가지 행동 또는 수행

을 말한다. 전망 영역은 과학에서 학생들의 태도, 관심, 동기의 발달에 초점을

맞춘다. 이들 3개 영역에 포함되는 주요 범주를 살펴보면, <표 III -8 >과 같다.

과학 내용 측면에서 무엇보다도 새로운 것은 환경과 기술 공학이 새로 첨가된

점이다. 이는 1980년대 이래로 미국을 중심으로 전세계적으로 과학 교육의 흐

름이 되고 있는 과학-기술-사회(Scien ce-Tech n ology-Societ y : STS) 관점에서의

교육 내용이 그대로 반영된 것이라 할 수 있다. 특히, 환경 교육이 하나의 독립

된 범주로 제시되었다는 것도 의미 있는 변화라고 할 수 있다.

<표 III -8 > TIM S S 과학 평가의 세 가지 영역과 주요 범주

내용 성취 기 대 전망

지구 과학 단순 정보 이해 태도

생명 과학 복잡 정보 이해 직업

물상 과학 이론화, 분석, 문제 해결 참여

과학, 기술 공학 및 수학 도구, 일상적 절차, 과학의 과정 사용 흥미 증진

과학과 기술 공학의 역사 자연계 조사 습관

환경 문제 의사 소통

과학의 본질

과학과 기타 학문

6 ) 제 1차 국 제 교육 발전 평가 (IAE P I)의 평가틀

IAE P I(In t er n a t ion a l Assessm en t of E du ca t ion a l P r ogr ess I)의 문항은 대

부분 미국 교육 발전 평가(N at ion a l Assessm en t of E du ca t ion a l P r ogr ess :

N AE P )의 문제 은행에 저장된 문항을 인출하여 구성되었으며, IAE P I의 수학

평가틀은 <표 III -9 >의 이원 분류표를 중심으로 구성되었는데, 내용 영역 중의

한 요소로 수학의 기본 방법 을 설정한 것에 주목할 만 하다. 행동 영역을 지

식, 기능, 이해, 단순 적용 으로 구분한 것은 Bloom 의 양식에 따른 것이며,

행동 영역의 마지막 요소인 문제 해결 은 수학 교육에 있어서의 1980년대가 문

제 해결의 시대라고 할만큼 문제 해결이 하나의 구심점 역할을 해 왔던 것에

비추어 이해될 수 있다.

- 31 -

<표 III -9 > IAE P I 수학 평가틀

내용 영 역

행 동 영역

수와

연산

관계 , 함수 ,대 수

기 하 측 정자료의 조 직

및 해석

수 학의 기본

방법

지식

기능

이해

단순 적용

문제 해결

IAE P I의 과학 평가틀(표 III -10)도 내용 과 행동 영역 의 이원 분류에 의해

제시되었다. 내용 영역은 생명 과학, 물리학, 화학, 지구 및 우주 과학 등의

전통적인 4개의 세부 영역 이외에 과학의 본성 이 첨가되었다. 과학의 구체적인

내용 영역들에 첨가된 간내용적 영역인 과학의 성질 은 (1) 관찰, 분류 및 추론,

(2) 자료 해석, (3) 가설 형성, (4) 실험 설계, (5) 탐구의 수행 등이 강조된다.

과학의 본성 에 대한 평가는 과학적 탐구의 특성에 대한 학생들의 이해 와 과

학적 사고 과정을 문제 해결에 적용하는 학생들의 능력 등을 측정하도록 설계

되어 있다. 한편, 행동 영역은 종합, 적용, 지식 등으로 구분되어 있는데, 역

시 Bloom 의 교육 목표 분류에 근거한 것이다.

<표 III -10 > IAE P I 과학 평가틀

내용 영역

행 동 영역생명 과 학 물리 학 화학

지구 및

우주 과 학과 학의 본성

지식

적용

종합

7 ) 제 2차 국 제 교육 발전 평가 (IAE P II)의 평가 틀

IAE P II의 수학 평가틀(표 III -11)에서 내용 영역은 IAE P I과 거의 유사하

나, 행동 영역은 미국 교육 발전 평가(N AE P )의 분류 방식을 채택하여 개념적

이해, 방법적 지식, 문제 해결의 세 가지로 분류하였다. 이러한 분류의 이론적

근거는 교육학에서 논의되는 선언적 지식(decla r a t ive kn owledge)과 방법적 지

- 32 -

식(pr ocedu r a l kn owledge)의 구분을 수학 교육에 접목시킨 H ieb er t (1986)의 개

념적 지식(con cept u a l k n owledge)과 방법적 지식(pr ocedu r a l k n owledge)에서

찾아볼 수 있다. 문제 해결은 지식과 기능, 개념적 이해와 방법적 지식 사이의

상호 작용의 결과라고 볼 수 있으며, 개념적 이해, 방법적 지식, 문제 해결은 각

각이 다양한 스펙트럼의 능력을 포함하기 때문에 세 가지 사이에 서열이 존재

하지는 않으며, 어떤 연령에서는 문제 해결 능력으로 간주되나 다른 연령 수준

에서는 개념적 이해나 방법적 지식으로 간주되는 상대성을 지니고 있다.

<표 III -11> IAE P II의 수학 평가틀

내 용 영역

행 동 영역

수와 연산 기 하 측 정

자료 분석 ,통계 및

확률

대 수와 함수

개념적 이해

방법적 지식

문제 해결

IAE P II의 수학 평가틀과 마찬가지로, IAE P II의 과학 평가틀(표 III -12)은

1986년도의 N AE P 과학 평가로부터 지적 기능 영역(지식, 적용, 종합)을, 1990

년도 N AE P 평가로부터 내용 영역(생명 과학, 물상 과학, 지구 및 우주 과학,

과학의 본성)을 채택하였다. 기능 영역을 지식, 적용, 종합으로 구분한 것은

Bloom 의 행동 목표 분류를 근거로 한 것이며, 내용 영역에서 전통적 과학 영역

인 물리와 화학을 합쳐서 물상 과학으로 하였다.

<표 III -12 > IAE P II의 과학 평가틀

내용 영역

지 식 기능 영역생 명 과학 물상 과 학

지 구 및

우주 과학과학의 본 성

사실, 개념, 원리에 대한 지식

간단한 문제를 풀기 위한 지식

의 적용

보다 복잡한 문제를 풀기 위한

지식의 종합

- 33 -

나 . OE CD/ P ISA의 평가 틀

OE CD/ P ISA는 만 15세 학생들이 학교에서 배운 것에 대한 자세하고 구체적

인 결과를 알려고 하기보다는, 사회 구성원로서 생산적 역할(con st r u ct ive r ole)

을 하기 위해 어느 정도 준비가 되어 있는지 알아보려는 것에 초점을 두고 있

다. T IM SS를 포함한 기존의 국가 수준의 학력 평가에서는 이미 여러 차례 교

육과정에 근거하여 평가해 왔기 때문에 이와 같은 새로운 평가 철학을 가지고

하는 연구는 다음과 같은 점에서 의미를 찾을 수 있다.

첫째, 이번 연구는 미래에 학자가 될 학생이 아니라 전체 학생을 그 대상으로

하므로 궁극적으로 알아야 할 것은 각 나라에서 이루어지는 교육이 그 나라 국

민으로서 생활하기 위하여 필요한 것을 잘 준비시키고 있는지 알아보려는 것이

다. 2 1세기의 삶에 있어서 반드시 갖춰져야 할 것은 적응성(a dapt ab ilit y), 융통

성(flexib ilit y), 생각을 전달하고 적용하는 능력 등이다. 특히 우선시되어야 할

것은 문제 해결 능력, 개인적 효율성(p er son a l effect iven ess), 정보 기술

(in form at ion t ech n ology)을 사용하고 이로써 의사 소통할 수 있는 능력, 과학적

소양(scien t ific lit er a cy) 등이다. 교육은 교육과정을 넘어서서 이러한 기능에 기

여해야 한다.

둘째, 미래의 학자가 될 학생을 비롯한 모든 학생들은 증거나 정보로부터 올

바른 결론을 도출해 낼 수 있는 능력 및 증거 제시와 함께 기존의 주장을 비판

할 수 있는 능력을 지녀야 한다. 구체적인 증거를 이용해 생각이나 이론을 합리

적으로 검증할 수 있는 능력은 미래 사회의 지식인에게 반드시 필요한 능력이

며, 교육은 이러한 능력 함양에 기여해야 한다.

셋째, 미래의 국민이라면 구체적인 개념(예를 들면, 동식물 이름) 뿐만 아니

라, 미래 사회에 필요한 중요한 지식(예를 들면, 에너지 소비, 생물의 종 다양

성, 건강 등)도 알아야 한다. 이러한 지식은 구체적인 개념을 공부하는 것에서

출발하여 사실에 대한 개념을 뛰어 넘는 폭 넓은 사고를 필요로 한다. 그러므

로, 교육이 과연 새로운 경험을 이해하는데 도움을 주는 폭 넓은 사고를 높이

고 있는지 알아보는 것이 중요하다. 폭 넓게 적용 가능한 사고를 향상시켜 온

사람이라면 여행을 할 때나, 휴가를 보낼 때나, 단순히 주위 환경을 감상할 때

나, 자신의 새로운 경험을 진정으로 이해하고 즐기게 될 것이다.

- 34 -

OE CD/ P ISA의 평가틀을 설정하는데 있어 가장 기초적인 작업은 OE CD/ P ISA

평가에서 측정하고자 하는 구인(con st ru ct )을 규정하는 것이다. OE CD/ P ISA에

서 평가하고자 하는 능력의 구인은 단편적인 지식이 아니라 기능 적 지 식

(fu n ct ion a l kn owledge), 즉 지식을 활용하여 비판적으로 사고하고 활용하는 능

력을 의미한다. 이러한 구인은 읽기 소양, 수학적 소양, 과학적 소양 등으로 구

체화되었다. 세 영역에 있어서의 소양을 평가하기 위한 평가틀은 다음 세 가지

의 핵심 축을 중심으로 설정되었다.

지식의 내용이나 구 조

각종 인지적 능력을 활용하는 과 정

지식이 적용되는 상 황이나 맥 락

<표 III -13>는 OE CD/ P ISA 위의 세 가지 핵심축을 중심으로 읽기, 수학, 과

학 영역에서의 평가틀을 요약한 것이다.

<표 III -13> OE CD/ P ISA 평가틀의 기본구조

영역 읽기소양 수학적 소양 과학적 소양

구성

요소

/차원

다른 종류의 본문읽기

형태에 의해 세부적으로

분류되는 연속적인 산문.예를 들어, 설명문, 해설

문, 그리고 다른 구조의

(공)문서.

수학의 핵심 아이디어

수학의 핵심 아이디어로 첫

번째 주기에서는 변화와 성

장, 공간과 모양에 초점을

맞추며, 그 외에 양적은 추

론, 불확실성, 종속과 관계에

대해서도 고찰

과학적 지식

ex) <에너지 보존, 적응,분해>와 같은 주제를 선

택하여 물리, 생물 화학

등의 주요 영역에서 선택.

다른 종류의 읽기과제 수행

특정 정보를 상기하거나

해석을 발전시키거나 본문

의 개념 및 형태에 대해

생각해 봄

수학적 능력

수학적 능력으로 설정된 8가지의 능력을 각각 세 수준으

로 구분

1수준 : 재생, 정의, 계산

2수준 : 문제해결을 위한 연

결과 통합

3수준 : 수학화, 수학적 사고,일반화와 통찰

과학적 탐구 과정

증거를 확인, 도출, 평가

그리고 결론에 대한 고찰,과학적 지식의 기존 틀에

는 의존하지 않으나, 과학

적 개념의 적용이 필요.

다른 상황에서 쓰여진 본문

읽기

ex) 개인적인 관심사 또는

일을 하는데 필요한 것들

을 알기 위한 읽기

다른 상황에서 수학의 이용

개인, 사회, 또는 전세계에

영향을 주는 문제

다른 상황에서 과학의 이용

ex) 개인, 사회 또는 전세

계에 영향을 주는 문제

- 35 -

이와 같은 OE CD/ P ISA의 평가에 대한 기본 전제를 바탕으로 각 영역의 소양

에 대한 정의와 영역별 평가틀의 구조를 좀 더 자세히 살펴보기로 한다.

1 ) 읽기 평가 틀

OE CD/ P ISA에서는 읽기 소양(r ea din g lit er a cy)을 단순히 본문에 나타난 의

미를 파악하는 소극적 활동이 아니라 자신의 생각과 판단을 바탕으로 본문의

의미를 심사 숙고하여 이해하는 활동이라고 정의한다.

읽기 소양은 개인의 목표를 달성하고 개인의 지식과 능력을 개발하며 사회

에 참여하기 위하여 글로 쓰여진 정보를 이해하고 활용하는 능력 을 말한다

(OE CD , 1999).

이는 IEA와 국제 읽기 조사 연합의 정의를 근간으로 하였는데 각각에서는 읽기

소양을 다음과 같이 정의한다.

<IE A의 정의> 사회나 개인의 가치 추구에 필요한 글을 이해하고 활용하는 능력

<IAR S의 정의> 사회에서 효율적으로 기능을 발휘하고 개인의 목적을 달성하

며, 개인의 지식과 가능성을 개발하기 위하여 문서로 된 정보를 활용하는 능력

읽기 소양에 대한 평가는 학교의 교육과정을 바탕으로 교육과정상의 학습

목표의 습득 여부를 평가하는 것이 아니라, 만15세 학생들이 사회에 나가서 효

율적으로 활동하는 데 필요한 읽기 능력을 갖추고 있는지를 파악하는 것을 목

적으로 한다. OE CD/ P ISA의 읽기 평가틀은 크게 본문 상황, 본문의 형태, 읽기

능력의 종류를 중심으로 설명할 수 있다.

본 문 상 황

OE CD/ P ISA 읽기의 본문 상황은 <표 III -14 >와 같이 요약될 수 있다.

- 36 -

<표 III -14 > 읽기 본문 상황

개인 목 적의 글 공 공을 위한 글 직업 에 관한 글 교육에 관 한 글

대상자기 자신, 친척,

친구다수 사물, 동료, 상사 교사

활용 호기심, 상호 연락 정보 일하기 위함 배우기 위함

내용

편지, 소설,자서전, 활용하는

법, 잡지, 지도

알림, 규정,프로그램, 팜플렛,

문서

지시 사항, 설명서,계획표, 메모, 보고서,

도표/그래프

본문, 지도, 도식,도표, 그래프

본 문

읽기 본문은 크게 산문과 문서로 구분되며 각각의 종류는 다음과 같다.

i) 산문(con t in u ou s t ext )

묘사(descr ip t ion ): 공간의 사물을 묘사하며 대개 무엇 에 관한 질문을

수반한다. 주관적 묘사와 기술적 묘사로 구분된다.

서술(n ar r a t ion ): 시간에 따른 사물의 특성을 기술한다. 언제 에 관한

질문을 수반한다. 보고서, 뉴스 등이 해당된다.

설명(exp osit ion ): 구성된 개념이나 사고 체계를 표현하며 어떻게? 에

관한 질문을 수반한다. 설명문, 정의, 탐색, 요약, 회의록, 번역문 등이

해당된다.

논설문(ar gu m ent at ion ): 개념이나 명제에 대한 또 다른 명제를 제시한다.

왜? 라는 질문을 수반한다. 개념이나 사건에 대한 의견 이 해당된다.

지시문(in st r u ct ion ): 무엇을 해야하는 지를 알려주며, 지시문, 법규 등

이 해당된다.

하이퍼 텍스트

ii) 문서(n on -con t in u ou s t ext )

단순 목록: 한 가지 요소를 여러 개 나열한 목록. 예) 참고 문헌

조합 목록: 두 개 이상의 단순 목록이 겹친 경우.

교차 목록: 평행하지 않은 3개 이상의 목록이 열과 행으로 교차된 목록.

예) TV 시간표

포함된 목록: 몇 개의 조합 목록이 겹친 경우

복합 목록: 여러 개의 목록이 종류가 겹친 경우

- 37 -

iii) 형태에 근거한 문서(n on -con t in u ou s t ext )

양식: 비자, 세금 양식 등

정보지: 카탈로그, 프로그램 등

영수증

자격증

광고

도표와 그래프

평가틀의 구 조

OE CD/ P ISA 읽기 평가틀을 도식화하면 〔그림 III -1〕과 같다.

[그림 III-1] OE CD/ P ISA 읽기 평가틀(OE CD, 1999)

OE CD/ P ISA 읽기 평가틀의 첫번째 특징은 독자가 본문으로부터 정보를 구하

는가 아니면 일반 지식으로부터 추론하는가의 구분이다. 두 번째 특징은 본문의

- 38 -

전체 내용을 이해하는 것과 세부 사항을 이해하는 것이며, 세 번째 특징은 세부

사항 이해 시 본문 내의 독립적 정보를 추출하는 경우와 내용의 관련성으로부

터 추출하는 경우이다. 네 번째 특징은 독자가 본문의 내용에 유의하여 읽는가

아니면 본문의 구조(t ext st ru ct u r e)에 유의하여 읽는가의 문제이다. 다섯 번째

특징은 앞의 네 개의 특징과 관련하여 5개의 사항들이 있는 데 이는 전체적 이

해, 특정 정보 추출, 추론, 내용에 관한 고찰 및 본문 구조에 대한 고찰이다. 각

각에 대해 자세히 설명하면 다음과 같다.

전체적 이해: 전체적 이해는 본문 전체의 주요 내용을 이해하는 활동이다.

예를 들면 주제 찾기, 제목 붙이기, 주요 인물 묘사하기, 이야기의 구조

찾기, 글의 목적이나 의도 찾기 등이 있다.

특정 정보 찾기: 특정 정보 찾기는 본문의 내용을 훑어 가면서 특정 정보

를 찾아내는 활동이다. 주로 문장 단위에서 이루어지며 흔히 문제에서 요

구하는 답을 찾기 위하여 인물, 시간, 배경, 장소 등을 찾아낸다.

추론적 이해: 추론적 이해는 본문에 내용을 순서대로 이해하는 것이 아니

라 논리적 이해하고 추론하는 활동을 일컫는다. 국부적 내용과 전체적 내

용을 연계하여 논리적으로 이해하며 일반적 세상 지식을 바탕으로 이해한

다. 비교하여 묘사하기,' 저자의 의도 추론하기,' 특정 인물의 의도,' 원인

과 결과 찾기 등의 활동이 있다.

본문 내용에 대한 논리적 고찰: 본문의 내용을 자신의 주관과 논리에 의하

여 증명하고 뒷받침하는 증거를 제시한다. 이 활동은 고도의 사고력을 요

하며 독자의 가치관에 근거하여 저자의 논리에 대한 논거를 제시하도록

요구하기도 한다.

본문 형태에 대한 비평적 고찰: 본문 형태, 장르 및 표현의 적절성 등에

대하여 비평적으로 이해하고 의견을 제시한다.

읽 기 평 가 틀 에 대한 논 의

OE CD/ P ISA 읽기 평가틀은 첫째, 다양한 본문 상황과 다양한 형태 (F or m )의

글을 제시함으로서 학생들이 사회에 나가서 효율적으로 활동하는 데 필요한 읽

기 능력을 갖추도록 한다는 점에서 매우 실제적이고 효율성을 추구하는 평가틀

- 39 -

이라고 볼 수 있다. 둘째는 본문에 의거하여 정보를 구하는 능력과 일반적 지식

이나 세상 지식 및 자신의 가치관에 의거하여 가치 판단을 할 수 있는 능력을

측정한다는 점에서 통합교과적인 요소를 포함하고 있다고 볼 수 있다. 자신의

가치관에 의거하여 논리적으로 가치 판단을 하는 요소는 읽기 능력을 보다 포

괄적으로 정의하고 측정하여 모든 지식과 실제 활동의 근간이 되는 능력으로

간주하고 있음을 의미한다. 셋째, OE CD 회원국을 포함하여 세계 여러 나라의

전문가들에 의하여 만들어진 문항들이므로 세계 여러 나라의 다양한 가치관, 풍

습 및 쟁점들을 접할 수 있어서 평가 자체가 학생들에게 귀중한 경험이 될 수

있는 점에서 유용한 평가틀이라고 볼 수 있다. 넷째, 읽기 능력에 대한 보다 명

확한 위계적 구분이 제시되지 않아 실제 채점시에 모호하거나 일관성이 없는

기준들이 있다. 이와 관련하여 본문, 문항의 난이도, 활동의 난이도 등에 대한

보다 체계적인 연구가 이루어져 보다 명확한 등급화를 제시해야 할 것이다.

2 ) 수학 평가 틀

수학 교과 전문가 위원회(Mat h em at ica l F u n ct ion a l E xp er t Gr ou p : MF E G)

에서 내린 수학적 소양(m at h em a t ica l lit er a cy)의 정의는 다음과 같다.

수학적 소양이란 개인이 건설적이고 사려 깊고 반성적인 시민으로 현재

와 미래의 삶을 살아가는 데 있어 , 세상의 문제를 해결하는데 있어 , 수학

이 차지하는 역할을 확인하고 이해하고 판단하고 실행할 수 있는 능력 을

말한다 (OE CD , 1999 ).

위의 정의에는 태도나 가치관 등과 관련된 정의적 측면이 명시적으로 드러나

있지는 않으나, 태도, 감정, 자신감, 호기심, 흥미, 관련성의 인식 등의 요소는

수학적 소양의 배경이 되므로, 중요하게 취급된다. 한편 수학적 소양에 대한 위

의 정의는 평가와 측정을 위한 과제의 구축과 해석의 기반이 되므로 각 부분을

구체적으로 살펴볼 필요가 있다.

수학적 소양 의 의미: 소양(lit er a cy) 은 전통적인 학교 수학 교육과정에서

찾아볼 수 있는 수학적 지식과 기능뿐만 아니라 그 이상의 것을 추구한다는

측면에서 선택된 용어이다. 수학적 소양은 수학 용어, 기호, 절차, 연산뿐만

아니라 다양한 상황을 배경으로 하며, 반성적 사고와 통찰이 요구되는 다차

- 40 -

원적인 수학적 지식과 기능에 초점을 맞추고 있다. 수학적 상황은 순수하게

수학적인 것부터 수학적 구조가 드러나 있지 않은 것까지 포함하며, 수학적

상황의 해결을 위하여 문제를 구조화하는 능력도 포함된다.

세계 의 의미: 여기서의 세계 는 개인의 삶에 있어 접하는 자연 세계, 사

회 세계, 문화 세계 등을 의미한다.

현재와 미래의 삶 의 의미: 현재와 미래의 삶이라는 것은 개인 생활, 직

업 생활, 동료나 친척과의 사회 생활, 공동체의 일원으로써의 생활 등을

말한다.

수학 평가틀은 평가에서 측정하고자 하는 바를 명료화하고 평가의 이론적 근

거를 마련함으로써, OE CD/ P ISA의 수학 평가에 대한 제반 사항을 논의하기 위

한 공통의 언어를 제공한다. 수학 평가틀은 능력 과 핵심 아이디어 라는 축과

내용 요소 와 상황과 맥락 이라는 두 개의 기본 축을 중심으로 구성된다. 여기

서 첫 번째의 능력 과 핵심 아이디어 는 OE CD/ P ISA가 추구하는 방향을 효과

적으로 드러낼 수 있는 주요 축이 되며, 두 번째의 축은 다소 보조적인 역할을

하며, 두 개의 축은 직교하는(or t h ogon a l) 것이 아니라 서로 중복되면서 상보적

인 역할을 한다.

예컨대, 첫번째 축의 핵심 아이디어 와 두 번째 축의 내용 요소 는 상당 부분

중복적인 측면이 있으나, 내용 요소 는 학교 수학 교육과정에서 전통적으로 다

루어져왔던 주제들을 중심으로 열거되어 있고, 핵심 아이디어 는 학교 수학에서

중요하게 다루어져야 되는 동적인 주제들을 중심으로 구성되는 차이를 갖는다.

수학적 능력(m at h em at ica l com p et en cies)

수학의 핵심 아이디어(m at h em at ica l b ig idea s)

내용 요소(cu r r icu la st r an ds)

상황과 맥락(sit u a t ion s an d con t ext s)

수 학 적 능 력

수학적 사고 기능, 수학적 논증 기능, 모델링 기능, 문제 만들기와 해결 기능,

표상 기능, 기호화와 추상화 기능, 의사 소통 기능, 보조 교구와 도구의 사용 기

능의 8가지 기능은 각각 세 수준으로 구분된다.

- 41 -

1 수준 : 재생 (re p rodu c tion ), 정의 (de f in i t ion ), 계산 (co m pu ta tio n )

2 수준 : 문제 해결을 위한 연결과 통합 (c on n e c tio n s an d in te g ra tio n fo rp rob le m so lv in g )

3 수준 : 수학화(mathe matization ), 수학적 사고(mathe matica l th ink ing),

일반화와 통찰 (ge n e ra liza tion a n d in s ig h t)

1 수준은 단순한 수학적 대상이나 성질을 기억해 내고 동치인 것을 인식하거

나, 정형화된 알고리즘을 통해 기계적인 계산을 수행할 수 있는 수준을 말한다.

이 수준은 TIMSS의 평가틀에 비추어볼 때 성취 기대(per form an ce expect at ion)

중 가장 낮은 차원의 인지 나 기계적인 절차의 이용 에 대응되며, 여기에 해당

하는 문항은 대부분 선다형이나 (제한적인) 개방형 문항의 형태를 띠게 된다.

2 수준은 간단한 실생활 문제를 해결하기 위하여 수학의 여러 영역과 주제들

을 연결시키고, 다양한 수학적 표상을 다룰 수 있으며, 정의, 주장, 예, 조건, 증

명 등의 진술을 구별할 수 있는 수준을 말한다. 수학적 언어의 측면에서 볼 때

에는 기호와 수학의 형식화된 언어를 해석하고, 일상어와의 관련성을 인식할 수

있는 수준으로, T IM SS의 평가틀에서는 탐구와 문제 해결 에 해당한다.

3 수준은 통찰을 통해 문제의 상황에 내재해 있는 수학을 인식하여 수학화하

고, 도출된 답을 문제의 맥락에 비추어 반성하는 능력을 말한다. 또한 문제를

해결하기 위하여 분석하고, 해석하고, 증명하고, 일반화하고, 다양한 방식으로

의사 소통하는 능력을 포함하며, 이 수준은 TIM SS의 평가틀에 비추어볼 때 수

학적 추론 과 의사 소통 에 해당한다.

세 번째 수준에 있어 핵심이 되는 수학화 에 대해서 좀 더 자세히 논의할 필

요가 있다2). 프로이덴탈(F r eu dent h al, 1983)에 따르면 수학화(m at h em at izat ion)란

현상(ph en om en a)을 수학적 수단인 본질(n ou m en a)로 조직하는 활동 을 의미하

며, 수학화 과정은 현상과 본질의 교대 작용에 의해 수준 상승이 이루어지는 불

연속적인 과정이다. 여기서 본질이란 수학적 개념, 구조 등을 말하는 것으로 본

질과 현상은 어느 수준에서는 본질이나 그보다 높은 수준에서는 현상이 될 수

2) 수학교과전문가 집단의 좌장인 Jan de Lange가 네덜란드 Utrecht 대학 부설

Freudenthal 연구소의 소장인 관계로, 수학 평가틀은 Freudenthal 이론의 영향을 다

분히 받고 있다.

- 42 -

도 있는 상대성을 지니고 있다. 예컨대 수 는 양 이라는 현상을 조직하는 본질

이지만, 수 라는 현상은 기수법 이라는 본질에 의해 다시 조직된다.

OE CD/ P ISA의 수학 평가틀에 등장하는 수학화는 수평적 수학화 와 수직적

수학화 의 두 가지 성분으로 구성된다(Tr effer s, 1987). 수평적 수학화는 간단히

말해 문제의 상황을 수학 개념을 이용하여 수학적으로 표현하는 것으로 일반적

인 문맥에서 구체적인 수학을 인식하기, 도식화하기, 문제를 형식화하고 시각화

하기, 관계와 규칙성을 발견하기, 여러 가지 문제 사이의 동질성을 인식하는 것

이 수평적 수학화의 주요 과정이 된다. 수직적 수학화는 수학으로 변환된 현실

세계의 문제를 수학적으로 더 세련화 하는 과정으로 여기서의 주요 활동으로는

관계를 식으로 표현하기, 규칙성을 증명하기, 모델을 세련시키고 조정하기, 여러

가지 모델을 결합하고 통합하기, 일반화하기가 있다.

<표 III -15 >는 복잡한 수학화의 과정이 요구되는 3 수준의 문항으로, 이 문제

의 해결을 위해서는 문제에 내재해 있는 수학 내용을 인식하고, 발전시키며, 논

증하고, 의사 소통하는 능력이 필요하다.

<표 III -15> OE CD/ P ISA의 제3수준 문항 예시

어떤 국가의 1980년의 전체 예산은 500만 달러였고, 국방 예산은 30만 달러였다.그 다음 해의 전체 예산은 605만 달러이고, 국방 예산은 35만 달러였다. 1980년과

198 1년 사이에는 10%의 인플레이션이 있었다고 한다.A. 당신이 평화주의자들의 단체에 초청을 받아 연설을 하게 되었다고 가정하고 198

년보다 198 1년의 국방 예산이 감소되었음을 설명하여라.B. 당신이 국방 단체에 초청을 받아 연설을 하게 되었다고 가정하고 1980년보다

198 1년의 국방 예산이 증가되었음을 설명하여라.

한편 위에 제시된 세 수준은 학생들의 수학적 소양의 정도를 가늠하고 각국

의 학교 교육이 적정 수준의 교육 내용을 제공하고 있는지 판단하기 위한 일종

의 준거로, 각 수준은 연속성을 갖기 때문에 명료하게 구분되지 않는 경우도 적

지 않다. 뿐만 아니라 1, 2 , 3 수준이 엄격한 위계를 이루는 것이 아니기 때문

에 상위 수준에 이르렀다고 해서 반드시 하위 수준의 능력을 갖추었다고 보기

도 어렵다.

- 43 -

수 학 의 핵 심 아 이디 어

수학의 핵심 아이디어는 내용 요소 와 중복되는 경향이 없지 않으나, 그 접근

방식에 있어서는 차이를 갖는다. 즉 내용 요소 는 주로 학교 수학 교육과정이나

교과서와 밀접하게 관련을 맺는 전통적인 영역 구분을 취하고 있으나, 수학의

핵심 아이디어는 이를 탈피하여 가능한 한 통합적이고 총체적인 주제 중심으로

접근한다. T IM S S의 내용 축은 각국의 수학 교육과정에 근거하여 상당히 구체

적인 수준까지 세분하고, 이를 반영하는 문항을 분절화된 형태로 제시하는 경우

가 대부분이었으나, OE CD/ P ISA는 여러 내용을 종합하고, 사실적 지식에 해당

하는 1 수준의 내용보다는 고등 사고 기능에 초점을 맞춘 2, 3 수준의 내용을

주로 문항화한다.

수학의 핵심 아이디어는 가능성, 변화와 성장, 공간과 모양, 양적인 추론, 불

확실성, 종속과 관계의 6개 영역으로 구분되어 있다. 1차 주기에서 수학은 보조

영역이기 때문에 검사 시간의 제약으로 6개 영역을 모두 다루는 것이 불가능하

며, 변화와 성장 과 공간과 모양 은 비교적 기존의 교육과정에서 다루는 내용을

광범위하게 포섭할 수 있기 때문에 두 영역만 중점적으로 다룬다.

변화와 성장 은 포괄적인 방식으로 변화를 표현하는 것, 변화의 기본적인 유

형을 이해하는 것, 변화의 특별한 유형을 인식하는 것, 이러한 기능을 외부 세

계에 적용하는 것 등을 포함한다. 공간과 모양 은 다리, 집, 교회, 불가사리, 눈

송이, 도시, 클로버 잎, 크리스탈, 그림자 등 우리 주위의 도처에 산재해 있는

기하적인 규칙성에 대한 동적인 탐구를 포함한다.

내 용 요 소

내용 요소는 학교 수학 교육과정에서 전형적으로 다루어져왔던 내용 영역을

중심으로 구성되며, 그 하위 영역은 수, 대수, 함수, 기하, 측정, 어림산, 확률,

통계, 이산 수학이다.

상 황 과 맥 락

상황과 맥락은 문제의 배경이 진정한 실생활에서 비롯되었는지 아니면 가상

적인 상황을 전제로 이를 이상화시켜 인위적으로 구성했느냐에 따라 결정된다.

또 문제의 상황이 학생의 생활과 밀착되어 있는 정도에 따라 개인 생활, 학교

- 44 -

생활, 레저 생활, 일상적으로 접하게 되는 지역 사회에서의 생활, 과학적 상황으

로 구분될 수 있으며, 개인 생활에서 과학적 상황으로 갈수록 학생과의 거리는

멀어진다.

그 외에 수학화 과정의 개입 여부에 따라 일차적인 수준의 상황과 이차적인 수

준의 상황으로 구분해 볼 수 있다. 일차적인 수준의 상황에는 수학화 과정이 이미

문제에 내재되어 있는 경우로, 선다형과 같은 간단한 문항에 주로 이용된다. 이에

반해 이차적인 수준의 상황에서는 문제를 해결하기 위하여 수학화하는 과정이 반

드시 요구되며, 고등 사고 기능에 초점을 맞춘 과정 중심의 문제에 적용된다.

지금까지 살펴본 OE CD/ P ISA의 수학 평가틀을 정리해보면 다음 <표 III -16 >

와 같다.

<표 III -16 > 수학 평가틀

수

학

평

가

틀

주

요

축

수학 적

능력

·수학적 사고 기능(mathemat ical th inking skill)·수학적 논증 기능(mathemat ical argumentat ion skill)·모델링 기능(modelling skill)·문제 만들기와 해결 기능(problem posing/ solving skill)·표상 기능(representat ion skill)·기호화와 추상화의 기능(symbol and formalism skill)·의사소통 기능(communicat ion skill)·보조 교구와 도구의 사용 기능(aids and tools skill)

수학 의

핵심

아 이디어

·가능성(chance)·변화와 성장(chan ge and gr owth)·공간과 모양(space and sh ape)·양적인 추론(quant it at ive reasonin g)·불확실성(uncer t ainty)·종속과 관계(dependen cy and relat ionships)

보

조

축

내용 요 소

·수(number)·대수(algebra)·함수(fun ct ion)·기하(geometry)·측정(measur ement)·어림산(est imat ion)·확률(probability)·통계(st at ist ics)·이산 수학(discr ete math emat ics)

상황 과

맥락

·진정한 실생활(authent ic and real)의 상황/가상적인(virtual) 상황·개인 생활/학교 생활/레저 생활/일상적으로 접하게 되는 지역 사

회에서의 생활/과학적 상황·일차적인 수준의 상황/이차적인 수준의 상황

- 45 -

수 학 평 가 틀 에 대한 논 의

수학 평가틀에 대해 11개국의 수학교육 전문가로부터 받은 19건의 검토 의견

은 대체로 긍정적이었으며, 혁신적이고(in n ova t ive), 위험 부담이 있으며(r isky),

야심적인(am b it iou s) 것으로 결론지었다. 검토 의견에서 공통적으로 지적되고

있는 사항은 OE CD/ P ISA가 추구하는 방향에 비추어 볼 때 당연한 귀결이기는

하지만, 수학 평가틀이 지나치게 고등 사고 능력에 치우쳐 있다는 점이다. 또

풍부한 문제 상황에 가려 수학 내용이 초등화 되거나 희석될 지도 모른다는 우

려의 반응이 다수 있었다. 평가틀로 제시된 기본축과 그 하위 구분과 관련하여

서는 내용의 한 영역으로 설정된 이산 수학이 각국의 학교 수학 교육과정에서

본격적으로 도입되고 있지 않다는 점이 지적되었고, 수학 영역과 내용에서 측

정(m ea su r em en t ) 과 관련된 내용이 의도적으로 누락된 것인지에 대한 의문도

제기되었다.

3 ) 과학 평가 틀

과학 교과 전문가 위원회(Scien ce F u n ct ion a l E xp er t Gr ou p : SF E G)에서 내

린 과학적 소양(scien t ific lit er a cy)의 정의는 다음과 같다.

과학적 소양은 우리 주위의 자연과 인간의 활동에 의한 자연의 변화에 대해

이해하고 결정을 내리는데 도움을 주기 위하여 , 과학 지식 뿐 아니라 증거를

바탕으로 결론을 도출해 낼 수 있는 능력 을 의미한다 (OE CD , 1999).

OE CD/ P ISA에서 과학적 소양을 평가하기 위한 핵심 영역에는 과학적 탐구

과정 과 과학 지식 이 있다. 이외에도 탐구 과정과 지식을 통합하여 평가할 수

있는 상황 을 더하면 모두 3가지 평가 영역으로 구성된다. 이상의 3가지 영역

중에서 탐구 과정과 과학 지식이 특히 중요하지만 각각의 영역을 분리하여 평

가하는 것보다는 하나의 상황에서 통합하여 평가하는 것이 바람직하다. 따라서,

평가하고자 하는 과학 지식과 탐구에 맞는 적절한 상황을 제시하는 것이 중요

하다.

P ISA 연구에서의 과학 평가틀은 탐구, 개념/ 내용 및 과제의 상황 등으로 구

분하여 설명한다.

- 46 -

탐 구 과 정

탐구란 자연에서 나타나는 과학적 현상을 이해하거나 이에 관한 지식을 얻기

위해 증거나 자료를 이해하고, 해석하고, 이용하는 데 사용되는 정신적(혹은 신

체적)인 활동을 말한다. 내용이 없는 탐구는 아무 의미가 없다. 그러므로, 탐구

는 광범위하게 교과 내용과 관련되어진다.

과학에 있어서의 탐구는 증거를 수집하여 해석하고 이로부터 결론을 도출해

내는데 필요한 기능과 이해 과정을 모두 포함한다. 증거를 수집하는 것과 관련

된 기능에는 실험 상황의 설계 및 측정, 기구를 사용해 관찰하는 등의 활동이

포함된다. 과학적 소양 은 증거를 수집하는 능력 자체보다는 증거를 바탕으로

결론을 도출해 내는 능력에 더 큰 의미를 두고 있다. 과학적 탐구 측면에서 다

시 살펴보면, 모든 사람들은 과학 지식을 이용하여 과학으로 해결할 수 있는 문

제와 그렇지 않은 문제를 구분할 수 있어야 한다. 또한, 모든 사람들은 증거의

수집 방법과 결론과의 관련성 여부를 판단할 수 있어야 한다. 그러나, 무엇보다

도 중요한 것은 개인적, 사회적, 세계적 차원에서 우리 생활에 영향을 주는 어

떤 행동을 할 때, 그 행동의 근거가 되는 증거를 올바르게 판단할 수 있어야 있

다. 다음은 탐구 과정의 구체적인 예를 든 것이다.

과학적으로 조사하여 답할 수 있는 문제 인식하기

(Recognizing qu est ions that can be answered by scient ific invest igat ion)

설명을 검증하거나 쟁점을 파헤쳐 나갈 때 요구되는 과학적 증거와 자료를

선택하여 해석하기(Select ing and int erpret in g the scient ific evidence/ dat a

n eeded t o t est an explan at ion or explore an issue)

타당한 증거 수집에 관계되는 것을 이해하기

(Un der st an din g wh at is in volved in collect in g valid eviden ce/ dat a)

유용한 과학적 증거와 관련된 결론을 비판적으로 평가하기

(Cr it ically evalu at in g con clu sion s in r elat ion t o ava ilable scient ific

eviden ce/ dat a)

타당한 결론을 놓고 타인과 의사 소통하기

(Com mun icat in g valid con clu sion s t o oth er s)

개 념/ 내 용

개념이란 우리가 이미 알고 있는 것과 연결시켜 새로운 경험을 이해할 수 있

- 47 -

는 큰(b ig) 생각을 말한다. 우리는 과학 개념을 통해 자연과 인간이 만든 세계

를 이해한다. 과학 개념은 다양한 차원으로 표현할 수 있다. 다시 말해, 생명 과

학, 물리학, 화학, 지구 과학 같은 매우 넓은 구분으로부터 기준(st an dar ds)이나

교육과정의 형태에 이르기까지 다양하다.

우리는 여러 가지 개념을 이용하여 과학적 현상을 이해한다. 개념이란 포유

동물, 가속도, 용해 등 사물이나 현상에 대한 정의 또는 물리학이나 화학에서의

법칙과 이론과 같은 특정 현상에 대해 일반화하는 것으로 표현되어진다. 이번

연구에서 평가해야 할 4가지 개념 선정 기준은 다음과 같다.

첫째, 실생활과의 관련성(r elevan ce)이다. 예를 들어, 상대성 이론을 설명할

때, 길이, 질량, 시간, 속도 사이의 관계에 대해서 자세히 묘사할 수 있지만, 일

상 생활에서 흔히 접하게 되는 힘이나 운동에 연결시켰을 때, 더 유용한 지식이

된다. 둘째, 출제 문항의 내용이나 개념은 2 1세기에 전개될 생활과 연결되어야

한다. 셋째, 제시될 상황과의 관련성이다. 상황에 관해서는 다음 항목에서 좀더

상세히 기술하고자 한다. 넷째, 문항에서 의도한 탐구 과정과 개념이 조화를 이

루어야 한다는 점이다.

<표 III -17>은 이상의 개념 선정 기준을 구체적인 과학 개념 또는 내용에 적

용시킨 것이다.

과 제 의 상 황

과학 지식이나 탐구 이외에도 '과제(t a sk )' 개념이 이번 연구에 도입된다. 과제

는 어떤 상황이 제시되는 본문과 이 본문에 주어진 여러 개의 문항을 통틀어서

말한다. 과학적 소양 의 뜻을 살리기 위해서, 각 과제에 제시된 문항은 지식 또

는 탐구와 지식을 동시에 묻게 된다. 과학적 소양과 관계된 문항뿐만 아니라

읽기 나 수학 영역에 관련된 문항도 하나의 과제에서 함께 물을 수 있다. 제시

될 상황을 선정할 때에는 평가 의도에 맞는지 살펴보아야 하고 예비 검사를 통

해서 과제에 대한 타당성을 모든 참여국 차원에서 검증해야 한다.

상황을 선정할 때 우선 고려해야 할 것은 이 연구의 목적이 학교에서 배운

기능과 지식을 생활에 적용하는 능력을 측정한다는 것이다. 다시 말해, 과제는

학교에서의 상황이 아닌 일상 생활에서 접하는 상황이어야 한다. 지금까지는 학

교에서 배운 과학 지식과 탐구는 대개 실험실이나 교실 상황에 제한되어 있었

- 48 -

다. 그러나, 각 나라마다 지식과 탐구를 학교 밖의 상황에 적용시키려는 노력을

하고 있다. 따라서, 이 연구에서는 과학적 소양을 측정한다는 뜻을 살려 학교에

서의 상황 은 배제하기로 한다.

<표 III -17> 과학적 소양 측정에 필요한 개념 (영어 알파벳 순)

과 학 영역 과 학 주제 (관련 개념 의 예 ) 과학의 응 용 영역

생명 과학

(BiologicalScien ces)

과학 기술

(Scien ceTechnology)

지구

환경

과학

(E arth an dEnvir onmental Scien ce)

대기의 변화 (atmosph er ic ch an ge)(복사, 전도, 압력; radiation, transmission, pressure)

생명 공학(b iotechn ology)

인간의 건강, 질병 및 영양

(h ealth , disease, an dnut r it ion in human s)

물리적/생물학적 계의 상호

의존

(interdependence ofphysical/biological systems)

종의 보존과 지속적 이용

(maintenance andsustainable use of species)

토양의 생성과 손실

(production and loss of soils)

오염(pollu t ion)

에너지의 이용(use of energy)

물질의 이용과 폐기물 처리

(u se of m at er ials andwast e disposal)

생물 종 다양성 (b iodiversity)(종, 유전자풀, 진화; species, gene pool, evolution)

화학적/물리적 변화 (chemical/physical changes)(물질의 상태 , 반응 속도 , 분해 ;

st ates of matter , r ates of reaction, decomposit ion)

생태계 (ecosystems)(먹이 연쇄, 지속성; food ch ain s, su st ain ability)

에너지 전환 (en er gy tr an sformat ion)(에너지 보전 , 에너지 저급화 , 광합성 ;

energy conservation, energy degradation, photosynthesis)

지질학적 변화 (geological ch an ges)(대륙의 이동, 풍화; continental drift , weathering)

유전자 조절(genet ic contr ol)(우성 , 유전 ; dom in ance, in her it an ce)

형태와 기능(form an d funct ion)(세포 , 골격 , 적응 ; cell, skeleton , a daptat ion )

생리학적 변화 (physiological ch ange)(호르몬, 전해, 뉴런; hormones, electrolysis, neurons)

물질의 구조와 특성 (stru ctur e an dpr oper t ies of m att er )

(자기 , 열 및 전기 전도 ; m agnet ism , therm alan d elect r ical con duct ivit y)

- 49 -

실제로 일어나는 일상 생활의 상황에는 우리에게 개인적으로 영향을 주는 문

제(예를 들어, 음식물과 영양분), 지역 공동체의 일원으로서 겪는 문제(예를 들

어, 수자원 공급과 처리 문제, 발전소 설립 문제), 나아가 세계 시민으로서의 문

제(예를 들어, 지구 온난화, 멸종되는 생물)를 들 수 있다. 이상의 것들은 모두

중요하기 때문에 과제의 상황이 될 수 있다. 또 다른 상황은 역사적 측면으로

설명되는데, 이를 통해 학생들이 과학 지식의 발전 과정을 얼마나 이해하고 있

는지 평가할 수 있다.

국제 비교 연구에서 특히 모든 나라 학생들의 관심과 생활에 관계된 상황이

제시되어야 하며, 그 상황이 지식과 탐구의 측정에도 적합해야 한다. 다시 말해,

상황을 선정할 때에는 지식과 탐구의 조화, 모든 참여국의 사회, 문화적 적합성

등을 고려해야 한다. 상황을 선정할 때는 자기 자신과 가족(p er son a l)에 적용되

는 문제에서부터 공동체(pu blic)에 적용되는 문제, 전 세계(glob a l)에 걸친 문제,

나아가 과학 지식이 어떻게 발전되어 왔고 과학과 연결된 사회적 결정에 어떻

게 영향을 주었는지가 모두 고려된다.

과 제 의 구 성 과 균형

앞에서도 언급했듯이, 과제에는 먼저 본문을 제시하고 이에 5∼6개의 문항이

속하게 된다. 실제 상황에서 나타날 수 있는 다양성을 반영하기 위해서는 하나

의 문항이 여러 가지 과정이나 적용 능력을 물을 수 있어야 한다. 과제가 많고

각 과제에 적은 문항을 제시하는 것 보다, 적은 수의 과제를 제시하고 각 과제

마다 여러 개의 문항이 있는 것이 더 효율적인 시험 시간 배분의 효과를 보일

것이다. 단, 하나의 과제에 있는 각각의 문항들은 서로 독립적이어야 한다.

하나의 과제에는 지식이나 개념을 묻는 문항, 과학 탐구 과정에 관한 문항 등

을 모두 물을 수 있으며, 그 점수 비율이 50 : 50이 되도록 한다. 과제의 성격

에 따라, 어떤 과제는 지식을 묻는 문항이 많이 들어갈 수도 있고, 과학 탐구

과정에 관한 문항이 많은 과제도 있을 것이다.

이번 연구가 지금까지 학교에서 해 온 평가와 차이가 나는 점은 교실이나 실

험실 환경을 벗어나 실생활에 나타나는 상황 속에서 과학 지식을 적용시켜 보

는 것이다. 대부분의 수업 시간에서 실생활과 학습 내용을 연결시켜 다루어 오

지 않았으므로, 이번 연구에서 제시될 문항의 형태가 낯설게 느껴질 지도 모른

- 50 -

다. 모든 참여국으로부터 각 나라의 학생들에게 친숙한 상황이나 문항 형태에

관한 의견을 들어 예비 검사에 반영하고 이를 통해서 타당도를 검증 받은 후에

수정, 보완하게 된다.

실생활의 상황을 도입하는 것 이외에도 읽기 나 수학 등의 다른 영역이 하나

의 과제에서 함께 물을 수 있는 통합 교과 평가를 시도한다. 즉, 과제에 정보

가 길게 서술된 형태라면, 이 과제는 읽기 영역에 대한 것도 물을 수 있고, 표,

그림, 그래프 등을 읽어야 하는 형태이거나 수식을 이용한 계산이 필요하다면,

수학 영역에 대한 것도 물을 수 있게 된다. 어떤 경우에도 지식의 단순 반복이

나 개개 사실에 대한 암기 등을 요하는 문항은 출제에서 절대 배제하기로 한

다.

다음의 <표 III -18 >은 과제에 도입될 수 있는 과학의 응용 영역, 과제의 제시

형태, 각각의 문항에서 물어야 할 것 등을 정리한 것이다.

<표 III -18 > 과학적 소양 평가에 필요한 과제의 구성

응용 영 역 제시 형태 평가 할 내용

생명 공학

문장,그래프, 표,도표, 그림,등의 형태

읽기 정보

수학의 측면

과학적 탐구로 답할 수 있는 문제 인식하기

쟁점의 설명과 발견 검증에 필요한 과학적 증거/자료 선택하기/ 해석하기

유효한 증거/ 자료를 수집하는 데 관련되는 사항 이

해하기

유용한 과학적 증거/ 자료와 관련된 결론에 대해 비

판적으로 평가하기

유효한 결론을 갖고 타인과 의사 소통하기

주어진 변화에 대한 가능한 원인과 관계 설명하기

주어진 변화의 결과 예측하기

쟁점을 발견해 내거나 주장을 검증할 때 고려해야

할 요소 알아내기 등을 포함하여 주어진 상황에 적

용함으로써 과학적 개념에 대한 이해 나타내기

인간의 건강, 질병

및 영양

물리적/ 생물학적

계의 상호 의존

종의 보존과 이용

토양의 생성과 손실

오염

에너지의 이용

물질의 이용과

폐기물 처리

과 학 평 가 틀 에 대한 논 의

가장 최근에 대규모로 이루어진 국제 비교 연구인 TIMSS의 과학 평가틀과

- 51 -

OE CD/ P ISA의 과학 평가틀을 비교하면 다음의 <표 III-19>와 같다. 평가의 배경

측면에서 보면 TIMSS가 학교 교육과정에 근거한 지식을 강조한 반면,

OE CD/ P ISA는 학교 교육을 벗어나 사회를 구성하는 시민으로서 갖추어야 할 과학

적 소양의 평가를 강조한다. 평가의 축을 비교하면 TIMSS는 내용, 성취 기대, 전

망의 3개 축으로 구성된 반면, OE CD/ P ISA는 탐구 과정, 개념/ 지식, 상황의 3개

축으로 구성된다. 문항의 내용 영역 구분도 서로 다르게 제시되었는데,

OE CD/ P ISA에서는 물리와 화학이 합쳐져 응용된 영역인 과학 기술로, 지구 과학

과 환경 과학이 합쳐져 지구 환경 과학으로 확대되었다.

한편, TIMSS에서의 과학의 본성 영역은 OE CD/ P ISA에서 독립된 영역으로 구분

되지는 않았지만 생명 과학, 지구 환경 과학, 과학 기술의 3개 영역에 흡수되었다.

행동 영역 측면에서 보면 TIMSS는 단순 정보 및 복잡 정보를 구분하여 제시한 반

면, OE CD/ P ISA에서는 과학 개념 및 지식의 이해로 합쳐서 제시하였다. 특히,

TIMSS에서의 단순 정보 이해에 관한 문항은 OE CD/ P ISA에서는 완전히 배제하고

있다. 또한 의사 소통 기능이 OE CD/ P ISA에 첨가된 것이 특징인데, 이는 시민으로

서의 구성적 역할을 담당하기 위한 행동 기능이기 때문에 새로 추가되었다.

<표 III -19 > TIM SS와 OE CD/ P ISA의 과학 평가틀 비교

항 목 T IMS S OE CD/ P ISA

평가의

배경

기술 공학 사회에 대응하여 각국

학생들의 수학 및 과학에 대한 지

식 파악을 강조함으로써 각국의 교

육과정을 분석하여 이를 근거로 평

가 체제 개발.

만 15세 학생들이 학교에서 배운 것에

대한 자세하고 구체적인 결과를 알려

고 하기보다는 시민으로서 구성적 역

할을 하기 위해 어느 정도 준비가 되

어 있는지 알아보려는 것이므로, 과학

평가의 주요 관점은 바로 과학적 소양.평가의 축 내용, 성취 기대, 전망 탐구 과정, 개념/ 내용, 상황

문

항

구

성

틀

내용

영역

생명 과학, 물리, 지구 과학, 화학,환경/과학의 본성

생명 과학, 지구 환경 과학, 과학 기술

행동

영역

단순 정보 이해, 복잡 정보 이해,이론화/분석/ 문제 해결, 도구/일상적

절차/과학 과정의 사용, 자연계 조

사

과학 개념/ 지식 이해, 문제 인식, 증거

확인, 결론 도출, 의사 소통

기타 교과 자체의 내용에 집중.

과제(t ask)형 문항 도입.단순 과학 지식을 묻는 문항 배제.교과 영역에 내재된 기능과 지식에 관

한 포괄적인 능력 평가.

- 52 -

2 . 배 경변인 설정을 위한 개념틀

학생들의 배경변인은 학업성취에 영향을 미치는 중요한 요인으로, 성취도 향

상 측면 뿐만 아니라, 각종 교육 문제 해결에 있어서도 다양하게 요구되고 있으

며, 이에 대한 관심이 증가하는 추세에 있다. 국제학력평가에서도 배경변인에

관한 정보수집은 매우 중요하게 다루어지고 있는데, 이중 미국의 교육향상평가

(N at ion al Assessm ent of E du cat ion a l Pr ogress: NAEP )와 TIMSS의 배경변인 설

문지 평가 모형을 알아보고 OE CD/ P ISA 설문지 평가 모형을 기존의 평가틀과 연

계하여 살펴보고자 한다.

가 . 기존 의 배 경변 인 설 정을 위한 개념 적 틀

여기서는 TIMSS와 NAEP에서의 배경변인설정을 위한 개념적 틀에 대해서 살펴

보기로 한다.

1 ) 제 3차 국 제수학·과학 성 취도 평가 연구 (T IM S S )

TIM S S 연구에서 사용한 배경변인 설문지의 목적은 수학과 과학의 학습이 일

어나는 상황(con t ext )에 관한 정보를 얻기 위한 것으로, 참가 학생, 그 학생들을

가르치는 수학 및 과학교사, 참가 학교의 학교장을 대상으로 4종의 설문지(학

생, 학교, 수학교사, 과학교사 질문지)로 구분하여 시행하였다. 질문내용은 학교

과정 지표모형, 교수활동 실제모형, 학생특성 모형을 통하여 학업성취와 연결하

여 제시한 교육경험 기회모형으로 구체화된 TIM SS 개념모형에 근거하고 있다

(Mar t in & Kelly, 1996, 김성숙, 임찬빈, 이춘식, 유준희, 서동엽 1999, 재인용).

T IM S S에서는 학생의 성취도와 학습에 영향을 미치는 배경변인을 파악하고자

학생, 교사, 학교의 인구 통계학적 변인이외에 교육체제의 특성, 학교의 조직 및

차별화, 국가별 전 학년대의 교육과정 모형, 교육자원분배, 국가적 교육목표등을

살펴보고자 한다. 또한 교사의 특성, 학급의 구성, 교수행위, 전개된 교육과정등

을 배경변인으로 분석에 포함한다.

- 53 -

TIM S S에서 이러한 각각의 변인들이 학생성취에 영향을 미치는 과정을 개념

모형에 따라 도식화하면 [그림 III -2]와 같다.

[그림 III -2] TIM SS 배경변인의 개념틀(T IM SS, 1996)

2 ) 미국의 국 가교육향상평 가 (N AE P )

N AE P는 학생의 학업성취에 영향을 미치는 배경 변인 설정과 성취모형 개발

에 많은 연구노력을 기울이고 있으며 이에 따라 국내외의 성취도 평가연구에

심대한 영향을 끼치고 있다. 국제학력비교평가는 아니지만 학업성취모형연구에

있어서 모범적인 사례로서, 참고할 가치가 있다는 판단 아래 N AE P 에서 조사하

는 배경변인을 소개하고자 한다(김명숙, 노국향, 박정, 부재율, 양길석, 1998).

학생 설문조 사

학생용 설문지는 개인적 정보, 교과별 경험, 평가에 임하는 학생들의 열의 및

동기 등의 세 영역으로 구성되어 있다. 학생의 배경특성에 관한 질문의 내용은

- 54 -

학년별로 크게 차이가 없으나, 교과에 관련된 문항의 경우 학년간에 약간의 차

이가 있다. 동기유발에 대한 문항의 경우는 교과와 학년간에 크게 차이가 없다.

학생의 배경특성으로는 인종, 출석률, 학문적 포부, 그리고 학문적 성취와 관

계된다고 믿는 요인 - 숙제, 가정에서 사용하는 언어, 가정 내 장서수 - 등이 포

함된다. 이러한 문항들은 시간에 따른 변화를 나타내 줄 수 있는 것이므로, 매

설문조사때마다 동일한 설문문항이 사용된다. 교과관련 설문지는 교과 학습을

위해 투자하는 시간, 교과관련 학습경험, 교과에 대한 태도와 인식의 세 유형으

로 분류될 수 있다.

설문지의 마지막 부분에는 동기유발에 관한 질문들이 첨부되어 있다. 동기유발에

관한 질문으로는 몇 문항을 맞혔는지, 평가가 얼마나 어려웠는지, 다른 검사에 임

할 때와의 열성에 있어서의 차이, 이 검사에서 좋은 성적을 내는 것이 얼마나 중요

한 것인지, 자세한 풀이과정을 요구하는 문항에 대한 친숙도 등을 묻는 것들이다.

학생용 설문의 영역별 주요 배경변인들을 정리하면 <표 III -20>과 같다.

<표 III -20 > N AE P 학생용 설문지 배경변인의 구조

개 인배경 교 과관련 학 습경험 동기유 발

인종

학문적 포부

숙제

가정에서 사용하는 언어

가정내 장서수

해당과목 학습에 투자하

는 시간

교과관련 학습경험

교과에 대한 태도와 인식

맞춘 문항 수

평가의 난이도

검사에서 좋은 성적을 내

고자 하는 의욕

제시된 문항에 대한 친숙도

교사대상 설 문조사

교사용 설문지는 학생들이 보고한 학습경험에 관한 정보를 보충하기 위해 검

사대상 교과를 가르치는 교사들에게 교수경험, 개인적 배경, 그리고 이와 관련

된 몇가지 질문을 담고 있다(Wh it e, 1994).

교사를 대상으로 하는 설문지는 크게 두 부분으로 나뉜다. 제1부는 개인적 배

경(인종)과 교육적 배경 - 경력, 자격증 여부 및 종류, 학력, 전공 및 부전공 영

역, 대학에서 수강한 과목, 교과와 관련된 강의, 직무연수, 교수-학습에 관련된

결정에 있어서의 재량권, 학급내 교수-학습 자료의 양에 관한 사항을 묻는 문항

- 55 -

들로 구성되어 있다. 제2부는 주로 교과 관련 연수와 교실 수업과 관련된 정보

에 대한 연수등을 묻는 것으로 교과 및 교과 교육에 관련된 문제들을 접하는

정도, 교사 양성과정 및 직무관련 연수, 가르치는 학생들의 수준, 부과하는 숙제

량 및 소요시간, 교수-학습교재 활용실태, 학급편성 방식등이다. 이를 도표화 하

면 <표 III -2 1>과 같다.

<표 III -2 1> N AE P 의 교사용 설문지의 영역

목적분석 쟁점과 목적

교수내용 교수행동 개인적 배경 , 자원

교육적 여건

현황무엇을 가르치고 있는가?

학생들은 어떻게 배우고

있는가?

교사는 어떤 교육적, 개인

적 경험을 교실에 가져오

는가?

개인 배경별

교수요인

학생들의 특성에 따른 교수

내용을 달리하는가?학생들의 특성에 따라 교수

방법을 달리하는가?

교수경향교수내용이 시간이 지남

에 따라 달라지는가?교수행동이 시간이 지남

에 따라 달라지는가?

교수와 성취와의

관계

특정교재를 접한 학생들

의 성적이 더 나은가?

특정 교수방법으로 교수

를 받은 학생들의 성적이

더 나은가?

교수방법의

변화에 따른

성취의 변화

교수내용이 변화함에 따라

학생들의 성취에도 변화가

있는가?

교수방법이 변화함에 따라

학생들의 성취에도 변화가

있는가?

교사특성이 변화함에 따라

학생들의 성취도 달라지는

가?

교사와 학생 대상 설문조사에서 조사된 교수-학습관련 변인들은 학업성취 전

반에 영향을 주는 변인들보다는 구체적인 교과의 학업성취에 영향을 주는 배경

변인들에 초점을 둔다. 예컨대 과학평가의 경우, 과학의 학업성취에 영향을 주

는 학습 경험에 초점을 두게 되는 것이다. 이것은 매 평가 시마다 2∼3개의 과

목을 순환하여 평가하는 미국 국가 교육향상평가의 설계와 관련된 특징이라고

할 수 있다. 따라서 평가와 병행되는 배경변인 설문조사 역시 해당 과목의 성취

에 영향을 주는 배경변인에 초점을 맞추게 되는 것이다.

- 56 -

교육행 정가 설문조사

본 설문조사는 주로 학교의 교장 또는 대표 행정가를 대상으로 하고 있으며,

학교행정, 교원 임용 방식, 학교 특성화 프로그램, 학교가 보유한 자원 등에 관

련된 정보를 수집하려는 것이다. 이 설문조사는 학교의 특성이나 문화가 학생들

의 교육성취에 어떠한 영향을 미치고 있는지를 파악하여, 교육 관련 정책에 반

영하려는 목적으로 실시되고 있다(Ca ldr on e, K in g & H ork ay, 1997).

나 . OE CD/ P ISA 배 경변 인 개 념틀

OE CD/ P ISA는 학업성취에 영향을 미치는 배경변인에 대한 보다 깊이있는 정

보를 수집하기 위해 OE CD 산하에 N et wor k A 지표분석 및 제시위원회

(Analysis an d Present at ion of Indicat or s Working Group: AP OI Working Group)

를 두어 배경변인에 대한 설문문항을 개발하였는데, 설문지는 크게 학생설문지

와 학교설문지의 두 종류로 구분된다.

1 ) 학생설 문지

학생 설문지는 핵심 영역, 집중 영역, 선택 영역의 세 부분으로 구성되어 있다.

첫째, 핵심 영 역은 기본적인 인구 통계(dem ogr aph ic b a ck gr ou n d)에 관한 것

이으로 조사항목은 기본 인구 통계, 학생들의 사회 경제적 배경, 학생들의 교육

적 경험, 가정 및 학교에서 사용할 수 있는 교육적 재원, 수업 방법과 교육과정

및 학교에서 보내는 시간 등에 관한 설문들로 구성되어 있다.

둘째, 집 중 영 역은 각 주기별로 특정 주제에 대해 심도 깊은 자료를 수집하

기 위한 영역인데 OE CD/ P ISA 첫번째 주기(1998 -2000년)의 집중영역은 학생의

사회 경제적 지위(Socio-E con om ic St a t u s : SE S)에 대한 것으로, 전문가의 심의

를 거친 SE S는 예비설문조사에서 가장 중요한 참고자료로 이용되고 있는데, 이

에 대한 구체적인 설문 문항은 직업적 지위, 직업적 계급, 문화적·사회적 자본,

재산등의 항목들로 구성되어 있다.

셋째, 선 택 영 역은 국가별로 선택적으로 추가할 수 영역을 말하는데, 첫 번째

주기의 선택 영역으로는 범교과적 능력(Cr oss -Cu r r icu la r Com p et en cies : CCC),

자아 개념, 컴퓨터에 대한 친숙도 등의 영역이 있다. 이 문항들은 OE CD

- 57 -

Net work A 산하의 통합교과 전문가 위원회(Cr oss Cu r r icula Compen t en cy

Exper t Gr oup)에 의해 개발되었는데 특정 교과 영역에 관련되지 않은 일반적인

능력에 대한 자기 평가 문항들로 구성되었다.

이상에서 열거한 OE CD/ P ISA에서 학생용 설문의 영역별 주요 배경변인들을

정리하면 <표 III -22 >와 같다.

<표 III -22 > OE CD/ P ISA 학생용 설문지 배경변인의 구조

핵 심영역 집 중영역 선택영 역

기본 인구 통계

(나이, 성별, 언어 등)학생들의 사회 경제적 배경,(부모의 교육적 배경 혹은 경

제적 배경)학생들의 교육적 경험

(독서에 대한 학생들의 태도

와 습관, 학교 외의 장소에서

교육적 시설이나 자원의 사용

가능성, 학생들의 교육에 대

한 기대)가정 및 학교에서 사용할 수

있는 교육적 재원

수업 방법, 교육과정, 학교에

서 보내는 시간

(학생의 입장에서 바라보는

수업 방법, 학교교육과정의

성향 등)

사회경제적 지위

- 직업적 지위

(가족구성원의 직업)- 직업적 계급

(고용형태 및 직업분류)- 문화적 자본

(가정에서 보유물건)- 사회적 자본

(가족 구성, 양육방식, sociallinkage, 재산)

범교과적능력(Cross- Curricular

Competencies: CCC)- 자신의 능력, 끈기

- 자기수용 능력(self- acceptance)- 검사 불안(test anxiety)- 귀인유형 (attribution style)- 학습전략운용능력(management

of learning strategies)- 학습 동기, 위기 대처 능력

일반적인 능력에 대한 자기

평가 문항들로 구성

컴퓨터에 대한 친숙도

- 컴퓨터 사용 빈도, 만족도

- 컴퓨터 사용 익숙도

- 컴퓨터 소프트웨어 사용 빈도

- 컴퓨터 사용에 대한 전반적

인식

2 ) 학교 설문 지

학교의 배경변인을 알아보기 위한 설문지 역시 핵심영역과 집중영역으로 구

성되어 있는데, 핵심 영역에는 학교의 위치에 대한 기본 자료 (도시화 정도/ 지

역 사회의 유형), 학교의 지리적 위치와 재원, 시설 및 지역사회의 분위기 등

사회 경제적 배경에 대한 자료, 학교 및 학급 규모, 교직원 구조, 학교 수준에서

의 교수 방법, 학교의 조직 구조와 같은 항목들이 포함되어 있다.

집중 영역은 학교의 조직과 운영 실태, 학교의 사회 경제적 지위와 인적 물적

재원, 교직원의 구성 및 성격, 의사 결정 구조 등의 네 개 하위 영역으로 구성

- 58 -

되어 있다. 이들의 영역별 변인들을 좀 더 구체적으로 살펴보면 <표 III -22 >와

같다.

<표 III -22 > OE CD/ P ISA 학교 설문지 배경변인의 구조

핵심 영역 집중 영역

학교의 위치에 대한 기본 자료

(도시화 정도/지역 사회의 유형)학교의 지리적 위치, 재원, 시설, 지역사회

의 분위기 등 사회 경제적 배경에 대한

자료

학교 및 학급 규모

교직원 구조

학교 수준에서의 교수 방법

학교의 조직 구조

학교 조직과 운영 실태

연령별 학교급 구분, 수준 혹은 전공 구분,재이수, 심화, 교사간 협력, 학교 교육의

강조점, 입학 기회, 훈육,학교의 사회경제적 지위

인종별 구성 비율, 사회 계층별 구성 비율,남녀 성비

물적 재원

재무 구조, 교직원과 행정 직원의 수, 도서

관, 과학 실험실, 컴퓨터 시설, 기타 지원

시설

인적 재원

교원의 경력, 자질, 교직원의 이직률, 도서

관, 박물관, 자원 단체 (YMCA/ YWCA)교직원의 구성

교수법 및 교과 전문성, 전공 영역과 담당

교과의 일치성, 업무별 시간 분배, 교수 계

획, 전문성 신장 기회

의사 결정 구조 - 중앙 집권/자율적

OE CD/ P ISA에서 고려하는 주요 배경 변인들이 학생성취에 영향을 미치는 과

정을 도식화하면 [그림 III-3]과 같다. [그림 III-3]에서 볼 수 있듯이 OE CD/ P ISA

연구에서는 학생성취모형은 체제적 특성과 학교 및 학생 수준에서의 투입요인,

그리고 학교 교육활동을 통해 학생의 성취라는 성과가 나타나는 것으로 상정하

고 있다. 이러한 성취모형은 TIM SS -R이나 N AE P등의 연구에서 가정하고 있는

성취모형과 큰 차이를 보이지 않고 있다. 다만 OE CD/ P ISA 성취모형에서는 학

급이나 교사 수준 특성을 따로이 고려하지 않는다는 점이 기존의 주요 성취도

연구와 다르다. OE CD/ P ISA에서 학급수준의 변인을 고려하지 않는 것은

OE CD/ P ISA의 표집의 단위가 개별학생인 점과 관계가 있다. 즉, 표집 학교 내

에서 개별 학생을 무선적으로 표집하기 때문에 학급의 특성은 무선화

- 59 -

(r an dom iza t ion )된다는 것을 암시적으로 가정하고 있으며, 또한 실생활 능력

(l ife sk ill)이라는 것이 학교의 주요 특성과 더불어 개인의 가정경제적 배경요인

에 의해 크게 영향을 받는 구인(con st ru ct )으로 간주하고 있기 때문인 것이다.

[그림 III -3] 학생성취에 영향을 미치는 변인(OE CD , 1998)

- 60 -

OE CD/ P ISA와 앞서 살펴본 주요 교육성취도평가에 사용되는 배경변인과 개

념적 틀을 통해 교육성취에 영향을 미치는 배경변인 연구에 있어서의 동향을

파악할 수 있다. 첫째, 교육성취에 영향을 미치는 배경변인들의 폭과 깊이가 점

차 심화되어 간다는 점이다. 최근의 연구에서 조사되는 배경변인들은 국가의 교

육적 체제에서부터 학교, 학급, 교사, 가정, 지역공동체의 특성 등 학생의 개인

적 특성 외에 다양한 수준으로 확대되어 가고 있다.

이와 더불어 배경변인을 설정함에 있어 일반적인 성취도가 아니라 평가의 대

상이 되는 교과의 성취에 직접적으로 연관되는 배경변인에 초점을 둔다는 것이

다. 미국의 국가교육향상도를 점검하기 위한 N AE P는 읽기, 쓰기, 수학, 과학

등 10여개의 교과를 동시에 평가하는 것이 아니라 매년 한 과목씩 일정 주기를

정하여 평가하고 있으며, 배경변인의 내용과 종류도 평가하는 교과에 따라 다르

다. 이것은 학생들의 전체적인 성취도보다는 해당 교과에 대한 성취에 밀접하게

연관되어 있는 교수-학습 변인들을 발굴하고, 이들이 교과의 성취도와 어떤 관

계를 갖는지를 파악하여, 성취도의 결과를 정책 수립 뿐 아니라 교실 내 교수-

학습방법을 개선하기 위한 구체적인 자료를 얻기 위함이다.

- 61 -

IV . OE C D/ P IS A 검사 도구

OE CD/ P ISA에 사용된 검사 도구는 읽기, 수학, 과학에 있어서의 소양 및 통

합교과적 능력을 측정하기 위한 검사지와 학생과 학교에 대한 설문지의 두 가

지로 대별할 수 있다. 이 장에서는 검사 도구의 개발과정, 검사도구의 개발 및

검토 과정에 적용한 준거, 개발된 검사 도구의 유형 및 특성을 살펴본다. 아울

러 검사 도구의 번역 과정과 원문의 용어를 한국적 맥락과 문화적 규범에 맞게

조정한 번안 내용을 기술한다.

1 . 인 지 검사 문항

OE CD/ P ISA의 인지검사 문항 개발은 네덜란드의 검사개발 전문기관인 Cit o

와 호주의 ACE R가 주관하였다. 인지 검사 문항의 개발은 국제적 협력과 다단

계의 검토 및 조율 과정을 거쳤는데, 여기에서는 OE CD/ P ISA 검사도구의 개발

과정을 좀 더 상세히 기술하고자 한다.

가 . 인지 검사 문항 의 개 발· 검토

인지 검사 문항의 개발은 두 가지 방식으로 이루어졌다. 그 하나는 만15세

학생들이 접할 수 있는 전형적인 문항을 각국으로부터 수집하는 것으로, 세계

약 30여개 참여국으로부터 읽기, 수학, 과학 문항이 접수되었다. 우리 나라도

수학, 과학 영역의 문항을 출제하여 OE CD/ P ISA 연구연합체에 제출한 바 있다.

이와 동시에 네덜란드의 검사문항개발 전문기관인 Cit o의 문항개발자들이 실생

활에서 필요한 능력을 측정하기 위한 문항을 개발하였다.

OE CD/ P ISA에 사용될 각 문항들은 연구에 참여하는 국가들 모두에게 적합한

문항들로 구성되어야 하므로, 교과별로 참여국 교과 전문가들의 검토 과정을 거

친다. 문항 검토 의견서는 <표 IV-1>과 같이 10개의 항목에 대한 등급을 산출

하고, 비고란에 자유롭게 검토 의견을 개진할 수 있도록 되어 있다.

- 62 -

①부터 ③까지는 4점의 평정 척도로, 1점은 거의 없다, 2점은 약간의 정도, 3

점은 상당한 정도, 4점은 대단히 많은 정도를 나타낸다. ④의 예상되는 곤란도

수준은 학생들이 그 문항을 맞출 가능성의 0 -100%를 4등분하여, 1점은 40% 이

하, 2점은 4 1-59%, 3점은 60 -84%, 5점은 85% 이상으로 한다. 따라서 1점이면

상당히 어려운 문항에 해당되고, 2점이면 어려운 문항, 3점이면 약간 쉬운 문

항, 4점이면 쉬운 문항으로 구분할 수 있다. ⑥과 ⑦은 가능성의 여부에 따라

예 혹은 아니오 로 답변하게 되고, 그에 대한 의견이나 제언을 ⑧과 ⑨에서 서

술하도록 되어 있다. 마지막으로 ⑩에서는 전체적으로 문항의 적절성에 대한 의

견을 5점 평정 척도로 평가하게 되어 있는데, 여기서 1점은 적절하지 않다 , 2

점은 불분명하다 , 3점은 받아들일 만 하다 , 4점은 적절하다 , 5점은 매우 적

합하다 를 각각 나타낸다.

<표 IV-1> OE CD/ P ISA 예비검사 문항 검토 양식

검토 항 목 평정 방 식

① 학교에서의 학습 여부 1-4점 평정 척도

② 학교 밖에서 학생들의 학습 가능성의 여부 1-4점 평정 척도

③ 학생들의 관심도 1-4점 평정 척도

④ 예상되는 곤란도 수준 1-4점 평정 척도

⑤ 문화적인 편파성의 가능성 예/아니오 응답

⑥ 그 외의 편파성의 가능성 예/아니오 응답

⑦ 번역상 나타날 문제의 가능성 예/아니오 응답

⑧ 편파성이나 번역의 과정에서 야기될 수 있는 문제점에 대한

의견이나 제안서술형

⑨ 그 외 기타 의견이나 제안 서술형

⑩ 전체적인 적절성 1-5점 평정 척도

우리 나라는 수학, 과학 과제와 이에 수반되는 문항에 대하여 검토 의견서를

제출하였으며, ACE R은 각국이 검토한 내용을 모두 수합하고 정리하여 참여국

모두에게 송부하였다. 이러한 기초 자료와 교과 전문가 위원회의 견해를 바탕으

로 예비검사 문항이 최종적으로 선정되었다. 이러한 과정을 거쳐 우리 나라가

제출한 문항 중 과학 영역의 두 개 과제와 이에 수반되는 문항이 예비검사에

- 63 -

포함되었다. 예비검사를 위해 선정된 검사문항들은 영어와 불어로 정리되어, 각

참여국에 배포되었다.

나 . 검사 문항 의 유 형 및 특성

OE CD/ P ISA 검사 문항은 읽기, 수학, 과학 모두 과제별로 제시되어 있으며,

하나의 과제는 상황을 설명하는 본문과 이 본문의 내용과 관련된 여러 개의 하

위 문항들로 구성되어 있다.

1 ) 읽기 문항

OE CD/ P ISA 예비검사의 읽기 문항은 총 72개의 과제로 구성되어 있다. 읽기

문항의 수는 총 354문항이며, 이 중 주관식 문항(con st ru ct ed r esp on se)은 172

문항이며 선택형(m u lt ip le ch oice)은 182문항이다. 읽기 과제가 제시하고 있는

상황은 <표 IV-2 >와 같이 개인적, 교육적, 직업적, 공공 상황의 네 종류로 나누

어 볼 수 있으며, 이중 개인적, 교육적, 공공적 상황에 관한 과제가 각기 28%,

그리고 직업적 상황에 관한 과제가 16%를 차지한다.

<표 IV-2 > OE CD/ P ISA 예비검사 읽기 문항의 상황별 분포

상황 문 항 비율 (%)

개인적 28

교육적 28

직업 16

공공적 28

총계 100

본문의 종류에 따른 문항구성은 산문과 비산문의 형태로 나누어 볼 수 있는

데, 전체문항에서 산문이 차지하는 비율은 66%, 비산문은 34%를 차지하고 있

다. 각각의 항목에 대한 문항비율은 <표 IV-3>과 같다.

- 64 -

<표 IV-3> OE CD/ P ISA 예비검사 읽기 문항의 본문 형태별 분포

본문종 류 내 용 산문 비율 (%) 문항 비율 (%)

산문

(66%)

이야기 20 13

설명문 33 22

서술문 20 13

논설문 20 13

훈계/명령문 7 5

비산문

(34%)

챠트/그래프 33 11

표 33 11

개략도 10 4

지도 10 4

신청서 8 2

광고 6 2

총계 100

OE CD/ P ISA 읽기 평가틀에서 제시하고 있는 5가지 읽기 활동 중 본문 내에

서 정보를 구하는 활동, 예를 들면 특정 정보 추출 , 전체적 이해 . 추론적 이

해 를 요하는 문항이 전체의 60%를 차지하고 그중 추론적 이해가 30%로 가장

많은 부분을 차지하고 있다. 일반적 지식으로부터 추론하는 활동, 예를 들면 내

용에 대한 논리적 고찰 과 본문 형태에 대한 비평적 고찰 은 각각 15%씩 전체

의 30%를 구성하고 있다. 읽기문항에서 읽기 활동에 따른 산문과 비산문 비율

및 주관식, 객관식 문항비율은 <표 IV-4 >, <표 IV-5 >와 같다.

<표 IV-4 > OE CD/ P ISA 읽기 문항의 읽기 활동에 따른 산문과 비산문 비율

읽기 활동 문 항 비율 (%)

산문 비 율 (%) 비산 문 비율 (%)

특정 정보 추출 20 13 7

전체적 이해 20 13 7

추론적 이해 30 20 10

내용에 대한 논리적 고찰 15 10 5

형태에 대한 비평적 고찰 15 10 5

총계 100 66 34

- 65 -

<표 IV-5> OE CD/ P ISA 읽기 문항의 읽기 활동에 따른 주관식, 객관식 문항 비율

읽기 활동 문항 비율

(%)주관식 문항 비율(%) 객관식 문항 비율(%)

특정 정보 추출 20 7 13

전체적 이해 20 7 13

추론적 이해 30 11 19

내용에 대한 논리적 고찰 15 10 5

형태에 대한 비평적 고찰 15 10 5

총계 100 45 55

<표 IV-5 >에서 나타나듯이, 주관식 문항은 전체의 약 45%에 달한다. 또한 문

항의 형태에 있어서도 교과서에 나오는 형식적인 글이 아니라, 다양한 형태의

표, 그래프, 광고 등 다양한 지문을 활용하고 있다. 이는 OE CD/ P ISA 읽기 검

사가 수행적 능력을 강조하여, 보다 종합적이고 실생활에 가까운 평가를 개발하

고자 하는 OE CD/ P ISA의 의도를 잘 반영한 것으로 볼 수 있다.

나 . 수학 문항

1 ) 검사 문항 의 유형 및 특성

OE CD/ P ISA 예비검사에서 수학은 총 43개의 과제(t a sk)와 이에 따른 99개의

문항으로 구성되어 있다. 이 중 검사지 1과 검사지 7, 검사지 2와 검사지 7 사

이에는 동일한 문항이 있으므로, 중복된 문항을 제외할 경우 과제의 수는 34개,

문항의 수는 77개로 줄어든다. 각 검사지별로 포함된 과제의 분포와 제목은

<표 IV-6 >과 같다.

- 66 -

<표 IV-6 > OE CD/ P ISA 예비검사 수학 과제의 분포와 제목

검 사지 1 검 사지 2 검사지 7

각도

사과

커지는 원

지도

피자

절도범

경주용 차의 속도

공

목수

동전

농장

갈릴레오

파이프관

도형

대칭

성장 정육면체 칠하기 제동

이끼 키와 나이 항생제

인구 뜰 절도범

커지는 원 빗물 농장

삼각형 도형 벽돌

걸음 통 자동차 사고

사과 대륙의 넓이 인구 피라미드

각도 정육면체 방의 전경

공 갈릴레오 자동차 운전

지도

예비검사에 포함된 수학 문항의 유형은 선택형, 진위형, 단답형 등의 객관식

문항이 전체 99문항 중 38문항으로 38%를 차지하고 있으며, 서술형 주관식 문

항이 6 1문항으로 62%를 차지한다(표 IV-7). T IM S S 검사 도구에서 20% 정도가

주관식으로 구성되었던 것과 비교할 때, OE CD/ P ISA에서는 주관식 문항의 비

율이 상당히 높아졌다고 할 수 있다. 이는 실생활 맥락에서 학생들의 수학적 소

양을 측정한다는 OE CD/ P ISA의 대원칙에 입각할 때, 객관식보다는 서술형 주

관식이 유리하다는 점에서 자연스러운 귀결이라고 할 수 있다.

<표 IV-7> OE CD/ P ISA 예비검사 수학문항의 유형별 분포

문 항의 유형계

주관식 객 관식

문항 수 비율 문항 수 비율 문항 수 비율

6 1문항 62% 38문항 38% 99문항 100%

수학의 핵심 아이디어는 학교 수학에서 흔히 적용하는 내용 영역 구분과 유사하

기는 하나, 변화와 성장 , 공간과 모양이라는 명칭에서 알 수 있듯이, 보다 실생활

지향적인 역동적인 특성을 갖는다. 예비검사 문항의 분포를 보면, 변화와 성장이

56%, 공간과 모양이 44%를 차지하여 거의 유사한 비율을 나타낸다(표 IV-8). 내

용 요소 중 주로 측정과 기하에 해당하는 공간과 모양 에 비하여, 수, 함수, 대수

등의 내용 요소에 해당하는 변화와 성장이 더 다양한 내용 요소를 포괄할 수 있

기 때문에, 전자보다 후자의 비율이 약간 높게 책정되었다.

- 67 -

<표 IV-8 > OE CD/ P ISA 예비검사 수학 문항의 핵심 아이디어별 분포

수 학의 핵심 아 이디어계

변화 와 성장 공간과 모 양

문항 수 비율 문항 수 비율 문항 수 비율

55문항 56% 44문항 44% 99문항 100%

한편 학교 수학의 전통적인 내용 요소에 따라 구분해 보면, 99문항 중 수 영

역이 4문항, 측정 영역이 25문항, 함수 영역이 13문항, 기하 영역이 20문항,

대수 영역이 25문항, 통계 영역이 12문항이다(표 IV-9). 수학 평가틀에서 내용

영역으로 설정되었던 9영역 중 어림산, 확률, 이산수학은 전혀 취급되고 있지

않은데, 이는 수학의 핵심 아이디어 중 첫 번째 주기에서 다루는 변화와 성장

과 공간과 도형 과 대응시키는 것이 용이하지 않기 때문이다.

<표 IV-9 > OE CD/ P ISA 예비검사 수학 문항의 내용 요소별 분포

내용 요소

수 측정 함 수 기하 대 수 통계

문항수 비율 문항수 비율 문항수 비율 문항수 비율 문항수 비율 문항수 비율

4문항 4% 25문항 25% 13문항 13% 20문항 20% 25문항 25% 12문항 12%

99문항(100%)

위의 내용 요소별 분포는 <표 IV-10 >의 TIM SS -R 내용 영역별 분포와 비교

할 수 있다.

<표 IV-10 > TIM SS-R 본검사 수학 문항의 내용 영역별 분포

내용 영역

분수와

수 감 각대수 측 정 비례 기하

자 료의 표현 및

해석· 확률

문항수 비율 문항수 비율 문항수 비율 문항수 비율 문항수 비율 문항수 비율

52문항 34% 28문항 18% 20문항 13% 11문항 7% 23문항 15% 2 1문항 14%

155문항(100%)

- 68 -

OE CD/ P ISA의 수 영역과 대수 영역은 각각 TIM S S-R의 분수와 수 감각 과

대수 영역에 대비시킬 수 있다. OE CD/ P ISA에서 수 와 대수 가 차지하는 비율

은 각각 4%, 2 5%이며, T IM SS-R에서 분수와 수 감각 과 대수 가 차지하는 비

율은 각각 34%, 18%이다. 이는 여러 가지 측면에서 해석 될 수 있는 데, 그 이

유 중의 하나는 TIM SS-R이 중학교 2학년을 대상으로 하는 데 비하여

OE CD/ P ISA는 고등학교 1, 2학년을 대상으로 하는 데 따른 학교급의 차이이

다. 즉 중학교 수학은 고등학교 수학에 비해 수 에 대한 내용을 많이 다루는 반

면, 고등학교 수학은 중학교 수학에 비하여 대수 에 대한 내용을 상대적으로 비

중 있게 다루기 때문이다.

한편 측정 영역은 TIM SS-R에서 13%, OE CD/ P ISA에서 25%씩 다루어지고

있으며, 기하 영역은 영역은 TIM S S-R에서 15%, OE CD/ P ISA에서 20%씩 취

급되고 있어, OE CD/ P ISA에서 좀 더 강조되고 있음을 알 수 있다. 측정 과 기

하 영역은 OE CD/ P ISA 수학 평가틀이 추구하는 중요한 방향 중의 하나인 핵

심 아이디어 중 공간과 모양 과 연관성이 높으며, 특히 실생활과 밀접하게 관련

되는 내용으로 문항을 구성하다 보면 측정 에 해당되는 내용이 중점적으로 다

루어질 가능성이 높아지기 때문이다.

T IM S S-R의 비례 는 OE CD/ P ISA의 함수 와 대응시킬 수 있는데, 각각 7%,

13%를 다루고 있다. OE CD/ P ISA의 핵심 아이디어 중 하나인 변화와 성장 과

관련하여 TIM SS-R보다 함수 가 좀 더 강조되어 다루어지고 있음을 알 수 있

다. 또한 OE CD/ P ISA의 통계 와 TIM S S-R의 자료의 표현 및 해석·확률 은 각

각 12%, 14%씩 차지하고 있어, T IM SS -R에서 약간 더 비중있게 다루고 있음을

알 수 있다. 통계와 확률은 실제 상황과 관련지어 문항을 제작하는 것이 용이한

영역이나, OE CD/ P ISA에서 상대적으로 경시되고 있는 영역이라 할 수 있다.

3 ) 과학 문항

OE CD/ P ISA 예비검사에서 과학은 총 27개의 과제(t a sk )와 이에 부수되는 99

개의 문항 및 5개의 TIM SS 문항으로 구성되어 있으므로, 총 문항의 수는 104

개이며, 각 검사지별로 포함된 과제의 분포와 제목은 <표 IV-11>와 같다. 과학

과제의 제목에서 파악할 수 있듯이 실생활과 관련 있는 개념이나 내용의 과제

및 문항이 주를 이루고 있다.

- 69 -

<표 IV-11> OE CD/ P ISA 예비검사 과학 과제의 분포와 제목

검 사지 1 검 사지 2 검사지 8

조류

의복

지구의 온도

수영장

원자

자전거

주파수 맞추기

오존

남 레이니아

혼합물

버스 생물 종 다양성

기후 변화 파리

실험 연구 유독성 폐기물

세멜웨이즈의 일기 무엇을 먹을까?

복제 원숭이 연구

낮의 길이 복제 송아지

산림 산업 온실 효과

가정용 세제 조력 발전

자외선 복사 T IMSS 문항 5개

예비검사에 포함된 과학 문항을 유형별로 분류할 때, <표 IV-12 >에서 보는바

와 같이 선택형, 진위형, 연결형 등의 객관식 문항이 전체 104문항 중 6 1문항으

로 59%를 차지하고, 주로 서술형으로 구성된 주관식 문항 4 3문항으로 4 1%를

차지한다. 이는 TIM SS 연구에서 객관식이 전체 과학 문항의 73%를 차지하였

던 것과 비교되는 부분이다.

<표 IV-12 > OE CD/ P ISA 예비검사 과학 문항의 유형별 분포

문항 의 유형계

주관식 객관 식

문항 수 비율 문항 수 비율 문항 수 비율

43문항 4 1% 6 1문항 59% 104문항 100%

과학적 소양의 측정에 필요한 개념 중 과학 영역을 생명 과학, 과학 기술 및

지구 환경 과학 등으로 구분, 영역별 분포를 살펴보면, <표 IV-13>과 같다. 생

명 과학 영역이 전체 과학 문항의 49%를 차지하고, 지구 환경 과학 이 28%,

나머지 2 3%를 과학 기술 영역이 차지한다 .

- 70 -

<표 IV-13 > OE CD/ P ISA 예비검사 과학 문항의 내용 영역별 분포

내 용 영역계

생명 과 학 지구 환 경 과학 과 학 기술

문항 수 비율 문항 수 비율 문항 수 비율 문항 수 비율

51문항 49% 29문항 28% 23문항 23% 104문항 100%

전통적인 과학의 세부 영역인 물리, 화학, 생물, 지구 과학으로 구분하여 고려

해 본다면, 실생활 속에서의 물리 및 화학 관련 내용으로 구성된 과학 기술 영

역이 23%로 적어도 양적인 측면에서 상당히 약화되었음을 알 수 있고, 생물에

해당하는 생명 과학 영역은 반을 차지하여 상대적으로 강화되었음을 알 수 있

다. 한편, 지구 과학과 환경 과학이 합쳐진 지구 환경 과학 영역은 전체의

28%를 차지하여 비교적 강화되었다고 할 수 있다. 전체적으로 생명 과학 과 지

구 환경 과학 의 문항이 전체의 80%나 차지하였음을 통해, 다가올 2 1세기의 인

간의 삶을 강조한다는 OE CD/ P ISA의 과학 평가틀의 기본 정신이 과학 문항에

반영되었음을 알 수 있다. T IM S S의 과학 문항의 내용 구성은 생명 과학이

30%, 물리가 30%, 지구 과학이 30%, 화학 14%, 환경 및 과학의 본성이 10%

등으로 되어 있어 OE CD/ P ISA의 과학 문항과 상당히 다름을 알 수 있다.

과제의 제시 형태에 따라 이상의 27개의 과제를 분류해 보면 <표 IV-14 >와

같다.

<표 IV-14 > OE CD/ P ISA 예비검사 과학 과제의 제시 형태에 따른 분포

문장 형 태그림 그래프 표

신문 기사 학 술 논문 일반 글 인터넷 자 료 일기

8문항(23%) 3문항(8%) 13문항(37%) 1문항(3%) 1문항(3%) 6문항

(17%)2문항

(6%)1문항

(3%)26문항(74%)

문장 형태로 제시된 것을 보면, 일반적 글(37%)이 가장 많고 신문 기사에서

발췌한 것도 23%나 된다. 이 밖에도 학술 논문, 인터넷 자료, 일기 등의 자료도

본문의 형태로 시도되었다. 이렇듯 신문 기사나 학술 논문 등을 활용함으로써

실생활과 관련된 과학 개념이나 내용을 묻는데 쉽게 연관지을 수 있다. 한편,

- 71 -

그림으로 제시된 경우는 전체의 17%, 그래프로 제시된 경우는 전체의 6%로 나

타났고, 표로 제시된 것도 하나 있다. 그림, 그래프, 표 등은 모두 그림 해석,

그래프 해석, 표 해석의 문항으로 연결되어 자료 해석이라는 과학 탐구 기능을

묻는 데 활용되었다.

과학 문항을 출제 의도에 따라 지식과 탐구로 구분하면 <표 IV-15 >와 같다.

<표 IV-15 > OE CD/ P ISA 예비검사 과학 문항의 출제 의도에 따른 분포

지 식탐 구

문제 인 식 증 거 확인 결론 도출 의 사 소통

50문항(48%) 10문항(10%) 15문항(14%) 23문항(22%) 6문항(6%)

지식의 표현과 이해를 묻는 문항은 50개로 전체의 48%를 차지하고 있으며,

문제 인식하기, 증거 확인하기, 결론 도출하기, 의사 소통하기 등 과학 탐구 능

력을 묻는 문항은 54개로 전체의 52%를 차지하는 것으로 나타났다. 단,

OE CD/ P ISA의 과학 문항에서는 단편적인 암기 위주의 지식은 전혀 없고 응용

및 적용 지식으로만 구성되어 있는 것이 특징이다.

한편, T IM S S 연구에서는 단순 정보 이해에 관련된 문항이 40%, 복잡한 보

이해에 관련된 문항이 29%, 이론화/ 분석/ 문제 해결에 관한 문항이 2 1%, 도구/ 일

상적 절차/ 과학 과정의 이용에 관한 문항이 6%, 자연계 탐구에 관한 문항이 4%

를 각각 차지하였다. 여기서 단순한 정보 이해는 단편적 암기 위주의 지식인 경

우가 대부분이며, 복잡한 정보 이해가 바로 OE CD/ P ISA의 지식 부분에 해당된

다. 결국 TIM SS에서는 지식과 관련된 문항이 전체 문항의 거의 70%를 차지하

고 있으며, 나머지 30%정도가 과학 탐구를 묻는 문항인 셈이다. 이는

OE CD/ P ISA에서 과학 탐구 관련 문항이 반 이상을 차지하고 있는 것과 대비되

는 부분이다.

4 ) 통합 문항

OE CD/ P ISA 예비검사에서 통합 문항은 2개의 과제와 이에 부수되는 35개의

문항으로 구성되어 있다. 검사지 1에는 옥수수 과제에 11문항, 초콜릿 과제에

7문항, 검사지 2에는 옥수수 과제 10문항 초콜릿 과제 7문항이 각각 포함되

- 72 -

어 있다. 검사지 1과 2에 제시된 옥수수 와 초콜릿 과제의 본문은 동일하나 본

문에 수반되는 문항은 공통문항과 검사지별로 상이한 문항의 두 요소로 구성되

어 있다.

통합문항은 동일한 제재와 상황에 대해 수학적 소양, 과학적 소양, 그리고 읽

기 소양을 평가하는 문항이 한 과제내에 모두 포함되어 있기는 하지만, 하나의

문항에 대한 답을 풀기위해 읽기, 수학, 과학 영역의 지식을 통합적으로 활용할

것을 요구하는 문항은 없다. 따라서 OE CD/ P ISA 문항은 II장에서 기술한 바와

같이 주제중심의 통합을 추구하는 동시에 다학문적 접근을 요구하는 과제의 성

격을 띄고 있다.

다 . 검사 문항 의 번 역

OE CD/ P ISA 검사 도구는 영어와 불어본으로 제공되여, 영어와 불어 원본을

각기 한국어로 번역하도록 되어 있다. 이와 같은 2중 번역(doub le t r an sla t ion )

은 번역의 정확성을 확보하기 위한 점검장치이다. 즉, 영어로부터 한국어로 옮

긴 번역과 불어로부터 한국어로 옮긴 번역의 의미가 얼마나 일치하는가 혹은

상이한가를 비교함으로써 번역의 정확성을 점검할 수 있다는 것이다. 그러나 우

리나라에서는 평가에 관련된 불어 문서를 한국어로 번역할 수 있는 번역가를

찾는 것이 용이하지 않았고, 불어로 된 문항의 배포시기가 영어본 문항의 배포

시기 보다 약 2개월여가 지연되어 한국 내의 예비검사 일정을 맞추기가 어려웠

다. 영어와 불어본을 동시에 번역하는 것이 현실적으로 매우 어려울 것으로 판

단되어 연구연합체와 상의한 결과, 영어 문항을 각기 두 사람의 번역가가 독립

적으로 번역하는 대안을 강구하였다.

번역의 일차적인 원칙은 원문의 의도 에 충실하게 한국어로 옮기는 것이다.

즉, 문항의 난이도와 내용상의 본질을 변화시키지 않도록 유의하면서 번역해야

한다. 번역의 전 과정에 걸쳐 읽기, 수학, 과학 교과 전문가들이 참여하였으며,

최종적으로 현직 교사의 검토를 통해, 만 15세 학생들에게 적합한 용어와 진술

방식으로 수정·보완되었다.

검사 도구의 번역은 3단계에 걸쳐 진행되었다. 우선 읽기, 수학, 과학, 통합

문항을 각각 두 명의 번역자에게 의뢰하여 독립적으로 번역하였다. 본 연구의

- 73 -

교과 연구진이 초벌 번역본 2부를 참고하여 하나의 번역본을 작성하였으며, 이

번역본을 연구진 이외의 원내 교과 연구원들이 1차적으로 검토하였다. 이와 같

은 검토를 거쳐 만들어진 수정 번역본을 연구진이 2차로 검토하고, 고등학교 현

직 교사들이 3차로 검토하여, 최종 번역본을 산출하였다.

그러나 번역에 있어 원문에의 충실성 못지 않게 중요한 것은 학생들이 문항

에서 문화적인 이질감을 느끼지 않도록 우리의 문화적 배경을 고려하여 번안

(a da pt a t ion )하는 것이다. 읽기, 수학, 과학 문항 번역 과정에서 번안한 고유명

사나 내용은 <부록 1>에 정리되어 있다. 번역은 원문의 내용이나 문항의 난이

도를 변화시키지 않는 범위 내에서 하는 것이기 때문에, 인명이나 수의 단위를

우리의 상황에 부합되게 고친 것이 번안의 주류를 이룬다.

다만 원문의 내용이 문학 작품, 신문 기사, 학술 논문을 포함하는 경우, 우리

의 인명이나 지명으로 변화시키는 것이 부자연스러운 경향이 있다. 특히 읽기

본문의 경우, 본문의 상황이 서양 중심적인 것이기 때문에, 인명이나 지명 등의

고유 명사만 번안할 경우, 더욱 어색하게 되어 학생들의 혼란을 초래할 수도 있

다. 따라서 수학, 과학, 통합 문항의 경우 인명을 중심으로 번안을 하였으며, 읽

기 문항에서는 원문의 고유명사와 의미를 그대로 살려 번역하였다.

이상의 번역과 번안 과정을 마친 후 OE CD/ P ISA 본부의 번역 심의와 검증을

위해 검사 도구를 호주의 교육연구위원회로 송부하였다. ACE R에서 고용한 번

역 검토자들로부터 한국어로 번역된 문항의 정확성과 번안의 적합성을 인정

(ver ifica t ion )받은 후, 지적된 사항들은 반영하여 최종적인 번역본을 완성하었

다.

2 . 설 문 문항

설문지는 학교용과 학생용의 두 가지로 구분된다. 설문 문항의 개발·검토 절

차 및 준거와 그 특성 및 유형을 정리하고, 설문 문항을 비판적인 관점에서 검

토하고 그 번역 과정을 정리하면 다음과 같다.

- 74 -

가 . 설문 문항 의 개 발 및 검토

OE CD/ P ISA는 정책 지향적인 연구로서, 읽기, 수학, 과학 소양의 평가뿐 아

니라 학업 성취에 영향을 미치는 배경 변인에 대한 방대하고도 심도 깊은 정보

를 수집하고자 한다. 학생들의 학업 성취에 영향을 주는 배경 변인에 대한 자료

를 수집하기 위한 설문지는 OE CD의 N et w or k A 지표분석 및 제시 위원회에

의해 개발되었다.

설문 문항은 참여국의 정책 결정자, 교육평가, 교과교육 및 교육과정 전문가,

교육 연구 기관 등 OE CD/ P ISA의 다양한 이해 당사자들이 관심을 갖고 있는

교육적 문제에 대한 구체적인 자료를 수집하기 위해 개발되었다. 이들 이해 당

사자들이 OE CD/ P ISA를 통해 파악하고자 하는 쟁점 사항들은 다음과 같다.

교육 체제 및 학습 상황의 차이가 학업 성취도에 영향을 미치는 정도

학업 성취도의 내용과 과정 면에 있어서의 국가간 차이

학업 성취도에 있어서의 학교간 차이와 이들 차이를 중시하는 정도의 차이

사회 경제 계층간의 성취도 차이에 대한 학교의 역할

학교의 규모 및 재원과 학생의 능력 수준간의 관계와 이들 관계의 국가간 비교

성별에 따른 성취도 차이와 이들 차이에 대한 학교의 역할

성별에 따른 성취도 차이의 변화 추이 등이다.

나 . 설문 문항 의 유 형 및 특성

설문 문항의 유형 및 특성을 학생 설문지와 학교 설문지로 구분하여 살펴보

기로 한다.

1 ) 학생 설문 지

학생 설문지는 OE CD/ P ISA에 참여한 학생을 대상으로 실시된다. 설문지는

핵심 영역, 집중 영역, 선택 영역의 세 부분으로 구성되어 있다. 첫째, 핵심 영

역은 기본적인 인구 통계(dem ogr a ph ic b a ck gr ou n d)이다. 이들 기본 통계 영역

에 대한 자료는 시간이 흘러도 쉽게 변화되지 않는 안정적인 성격을 띤다고 가

- 75 -

정하고 있다. 기본 통계의 구체적인 설문 문항은 다음과 같다.

기본 인구 통계(나이, 성별, 언어 등)

학생들의 사회 경제적 배경(부모의 교육적 배경 혹은 경제적 배경)

학생들의 교육적 경험 (독서에 대한 학생들의 태도와 습관, 학교 외의 장

소에서 교육적 시설이나 자원의 사용 가능성, 학생들의 교육에 대한 기대)

가정 및 학교에서 사용할 수 있는 교육적 재원

수업 방법, 교육과정, 학교에서 보내는 시간 (학생의 입장에서 바라보는

수업 방법, 학교교육과정의 성향 등)

둘째, 집중 영역은 각 주기별로 특정 주제에 대해 심도 깊은 자료를 수집하기

위한 영역인데 OE CD/ P ISA 첫 번째 주기(1998 -2000년)의 집중영역은 학생의

사회 경제적 지위에 대한 것이다.

셋째, 학생 배경 변인 조사에는 국가별로 선택적으로 추가할 수 영역이 있는데,

첫 번째 주기의 선택 영역으로는 범교과적 능력(Cr oss -Cur r icular Com pet en cies :

CCC), 자아 개념, 컴퓨터에 대한 친숙도 등의 영역이 있다. 통합교과적 능력에

대한 설문 문항은 설문지 개발 전문가 위원회(Qu est ionn a ir e F un ct ion al Exper t

Grou p)가 아닌 N et w or k A 산하의 통합교과 전문가 위원회(Cr oss Cu r r iclu a

Com pen t en cy E xp er t s)에 의해 개발되었다. 통합교과적 능력은 학생 스스로가

인식하고 있는 자신의 능력을 비롯한 끈기, 자기 수용 능력(self-accept an ce), 검

사 불안(t est anxiety), 귀인유형(at tr ibut ion style), 학습 전략 운용 능력(m an agem ent

of learn in g str at egies), 학습 동기, 위기 대처 능력 등 특정 교과 영역에 관련되지

않은 일반적인 능력에 대한 자기 평가 문항들로 구성되었다. 컴퓨터에 대한 친숙도

검사는 컴퓨터 사용 빈도, 컴퓨터 사용을 편안하게 느끼는 정도, 터치폰, 자동 현금

인출기 등 첨단의 전자기기 사용 여부, 인터넷 등 통신 장비 사용 여부를 묻는 문

항들로 구성되어 있다. 우리 나라는 이들 두 영역을 모두 선택하였다.

학생 설문조사를 위해 선정된 변인의 수는 매우 많아 한 학생으로부터 전체

변인을 조사하는 데는 많은 시간이 소요될 것으로 판단되었다. 설문 조사의 효

율성을 기하기 위해 학생 설문에서 조사되어야 할 문항을 세 유형으로 나누어

3종의 설문지를 개발하였다. 3종의 설문지 모두 핵심 영역의 설문 문항을 공통

적으로 포함하고 있고, 집중 영역과 선택 영역의 설문 문항은 세 부분으로 나누

었다. 이들은 설문지 선택 영역의 내용에 따라 각각 학교, 가족, 읽기 모형으로

불린다. 세 종류의 설문 내용을 정리하면 다음의 <표 IV-16 >과 같다.

- 76 -

<표 IV-16 > 배경 변인 설문 문항 내용 (핵심 영역과 집중 영역)

내 용 학 교 (A ) 가 족 (B ) 읽 기 (C )

생년월일

학년

성별

보호자

부모의 현재 직업

부모의 직업상의 지위

부모의 주 업무

부모의 교육 정도

출생지

가정에서 사용하는 언어

형제 자매의 수

가족 내 의사 결정자

최근 몇 달 이내 가족 활동

과거 3년 내 이사 횟수

교우 관계에 대한 부모의 인지 정도

매주 학교 수업 시간 수

학생 수

국어 시간의 수업 상황

국어 숙제 빈도

국어 숙제에 소요되는 시간

방과 후 활동 소요 시간

신문 구입 빈도

도서 및 기타 자료 대출 빈도

자발적 독서 빈도

신문 혹은 잡지 기사

독서 소요 시간

독서에 대한 태도

가정 보유 도서수

전년도 구입 도서수

가정 재원

가정내에서 사용 중인 소프트웨어의 수

학교 등교 전과 방과 후 활동

주말 활동

각종 자원 접근의 용이성

학교 내 참가 프로그램

유급/ 월반 여부

전학 여부

가정에서 사용하는 언어

평가에 사용된 언어 사용 상황 및 빈도

현 거주지에서의 취학 기간

희망 교육 수준

30세에 갖고 싶은 직업

문제를 맞추기 위해 기울인 노력의 정도

- 77 -

2 ) 학교 설문 지

학교 설문지는 핵심 영역과 집중 영역의 두 개 영역으로 구성되어 있다. 핵심

영역에는 다음의 항목들이 포함되어 있다.

학교의 위치에 대한 기본 자료 (도시화 정도/ 지역 사회의 유형)

학교의 지리적 위치, 재원, 시설, 지역사회의 분위기 등 사회 경제적 배경

에 대한 자료

학교 및 학급 규모

교직원 구조

학교 수준에서의 교수 방법

학교의 조직 구조

집중 영역은 학교의 조직과 운영 실태, 학교의 사회 경제적 지위와 인적 물적 재

원, 교직원의 구성 및 성격, 의사 결정 구조 등의 네 개 하위 영역으로 구성되어

있다. 이들 하위 영역별 변인들을 좀 더 구체적으로 살펴보면 다음과 같다.

학교 조직과 운영 실태 - 연령별 학교급 구분, 수준 혹은 전공 구분, 재이수,

심화, 교사간 협력, 학교 교육의 강조점, 입학 기회, 훈육,

학교의 사회경제적 지위 - 인종별 구성 비율, 사회 계층별 구성 비율, 남녀

성비

물적 재원 - 재무 구조, 교직원과 행정 직원의 수, 도서관, 과학 실험실,

컴퓨터 시설, 기타 지원시설

인적 재원 - 교원의 경력, 자질, 교직원의 이직률, 도서관, 박물관, 자원 단체

(YMCA/ YWCA)

교직원의 구성 - 교수법 및 교과 전문성, 전공 영역과 담당 교과의 일치성,

업무별 시간 분배, 교수 계획, 전문성 신장 기회

의사 결정 구조 - 중앙 집권/ 자율적

- 78 -

다 . 설문 문항 의 번 역

학생용 설문지 3종과 학교 설문지 1종은 OE CD/ P ISA의 목적과 특성을 잘 이

해하고 있는 번역 전문가에 의해 한국어로 번역되었다. 연구진 및 영어 교육 전

문가가 번역의 적합성과 정확성을 검토하였다. 설문지를 번역함에 있어서 가장

역점을 둔 것은 설문 문항의 의미 의 명 료 성 과 한 국 적 상 황에 의 적 합 성 이었

다. 문항의 난이도를 동일하게 유지하기 위해 문항의 레이아웃은 물론 용어까지

원문의 범위와 동일해야 하는 검사 문항과는 달리, 설문 문항은 설문이 묻고자

하는 의도를 학생들이 제대로 이해할 수 있도록, 필요에 따라서는 설명을 곁들

여 원문의 내용을 보충하기도 하였다. 또한 한국어로 번역되는 과정에서 한국

상황에 적합하지 않다고 판단되는 선택 항목들을 제거 또는 수정할 것을 연합

체에 제안하였다.

설문 문항에서 수정되어야 할 사항들은 대체로 서양과 우리 나라 간의 학제

의 차이에 따른 학교급 구분(중학교, 고등학교 등)과 현재 재학 중인 중등학교

프로그램의 유형 및 주당 수업 일수의 차이에 기인한 것이었다. 첫째, 우리 나

라 고등학교의 유형은 일반, 실업계로 구분되는데 반해 대다수 OE CD 회원 국

가들의 중등학교는 직업 과정, 대학 준비 과정으로 나뉘며, 특히 대학 준비과정

중에서도 4년제 대학 준비 과정과 2년제 대학 준비 과정으로 구분되어 있다.

이에 따라 학생들이 현재 소속되어 있는 학교 유형과 부모의 최종 학력 등을

묻는 질문에 대해 OE CD/ P ISA 연합체에서 제시한 선택지를 그대로 사용하기가

어려웠다. 따라서 선택지를 한국적 상황에 맞게 인문계, 자연계 혹은 취업반, 대

학 준비반으로 수정할 필요가 있었다.

둘째, 서구 학생들의 한 주는 월요일에서 금요일의 5일을 뜻하지만, 우리 나

라 학생의 한 주는 월요일에서 토요일의 6일을 뜻한다. 따라서 한국 학생들의

교과별 매주 수업 시수와 숙제량을 묻는 질문에는 월요일에서부터 금요일이 아

니라 토요일을 한 주의 마지막 시점으로 표기할 필요가 있었다. 한국 연구진의

수정 제안서와 수정 이유에 대해 OE CD/ P ISA 연합체는 긍정적인 반응을 보였

다. 이러한 번안 과정을 거쳐 우리 나라 학생 및 학교용 설문지가 완성되었다.

- 79 -

V . 검사 시행의 실제

이 장에서는 OECD/ PISA 예비검사의 시행 과정을 설명하고자 한다. OECD/ PISA

예비검사를 위한 학생과 학교 표집에 대한 전반적인 내용 및 검사 시행에 따른

절차, 검사의 질관리 측면, 그리고 채점에 대해 상세히 기술하였다.

1 . 표 집

OE CD/ P ISA 예비검사를 위한 표집과 관련하여 모집단 정의, 국내 학교 및

학생 표집 설계, 기준, 절차를 기술하고, 예비검사를 위해 최종 표집된 학교의

지리적 위치, 학교의 성격, 그리고 남녀 구성 비율 등을 분석한다.

가 . OE CD/ P ISA 표 집의 목적 및 특 성

OE CD/ P ISA의 표집 목적은 두 가지로 요약될 수 있다. 첫째, 표집 학교의 수

를 충분히 확보함으로써 이들 학교의 학생들로 구성된 표본을 이용하여 내년도

본검사에 사용될 문항의 적합도를 점검하고자 하며, 둘째, 다양한 형태의 학교

로부터 적정한 수의 학생들을 표집함으로써 단위 학교 내의 학생 표집과 시행

절차에 대한 사전 점검이 충분히 이루어질 수 있도록 하려는 것이다.

OE CD/ P ISA 표집의 가장 중요한 특징 중의 하나는 연 령 '을 중심(a ge-b a sed)

으로 한 표집 방법이며, 표집의 단위가 개별 학생 '이라는 점이다. 국제 수학 과

학 성취도 비교 연구(T IM S S), 국제학생성취도비교연구(IAE P ), 미국의 교육향상

평가(N AE P ) 등의 국제학력비교평가가 학년(gr a de-b a sed) 혹은 학년과 연령을

동시에 고려한 표집(gr a de/ a ge-b a sed) 방법을 사용한 반면, OE CD/ P ISA는 학

년에 관계없이 연령을 기준으로 하여 학생을 표집한다. 또한 학급 또는 학교가

아닌 개인 단위의 표집 방법을 채택함으로써 학교간(b et ween -sch ools) 및 학교

내(wit h in -sch ools) 변량을 추정하려는 것이다.

- 80 -

나 . 표본 의 규 모

OE CD/ P ISA 연합체 중 표집을 전담하고 있는 West a t (미국 표집 및 자료분석

전문 연구기관)은 OE CD/ P ISA를 위한 표본의 규모를 최소 2 5개 학교의 800명

의 학생에서부터 최대 60개 학교의 1,800명으로 규정하고 있다. 이상적인 표본

의 규모는 최대치인 1,800명이지만 참여국들은 자국의 상황과 여건에 따라 최

소 표본과 최대 표본의 범위 내에서 다음 네 가지 중 하나의 표집 방법을 선택

하도록 하고 있다.

6 0개 학 교 에 서 학 교 당 35명 을 표 집하 여 총 1 ,8 0 0명 의 표 본 구 성

: 이상적인 표본 규모로서 본검사에 대비하여 제 시행절차와 문항 적합성

점검이 충실하게 이루어 질 수 있음.

2 5개 에 서 30개 학 교 선 정 , 각 학 교 당 70에 서 80명 을 선정 하 여 총

1 ,8 0 0명 의 표 본 구 성

: 이상적인 규모의 표본을 확보할 수는 있으나 각 학교 내에서 표집되는

학생의 수가 본검사에 비해 많고, 학교의 수가 적어 학교의 대표성이 결

여될 가능성이 있음.

30개 학교 선 정 , 각 학 교 당 3 5명 을 무 작 위 로 선 정 하 고 , 1 5세 학 생이

가 장 많 이 재 학 하 고 있 는 학 년 중 한 학 급 을 무 작 위 로 선 정 하여 총

1 ,4 00여 명 규 모의 표 본 을 구 성

: 표본의 크기가 그다지 작은 것은 아니지만 이상적인 표본의 수에는 미치

지 못하며, 본검사에 참여할 표본집단의 성격과는 상당한 차이를 나타낼

수 있음.

30개 학 교 선정 , 각 학 교 당 2 5명 에 서 30명 사 이의 학 생 을 표 집 , 8 0 0명

규 모 의 표 본 구 성

: 표집과 검사 시행을 위한 예행 연습을 할 수는 있으나 지나치게 소규모

로 표본의 대표성 문제가 우려된다.

이상의 표집 방안들을 정리하면 <표 V-1>과 같다.

- 81 -

<표 V-1> OE CD/ P ISA 표집 방안

표 집방안 학교 수 (개 ) 학교 당 학생 수 (명 ) 전체 인 원

1 60 35 1,800

2 25∼30 70∼80 1,800

3 30 35+1학급 1,400

4 30 35 800

우리 나라의 경우, 네 번째 방안, 즉 전국에서 30개 학교를 표집하되 한 학교에

서 표집할 학생의 수를 40명으로 늘리는 방안을 취하였다. 학교의 수를 적게 선택

한 이유는 우리 나라에서는 원칙적으로 동일 계열 내 고등학교 간의 학력차를 인

정하지 않고 있으며, 학교 내 학생들간의 편차(with in -sch ool var iat ion)가 크기 때

문에, 적은 수의 학교라 할 지라도 국가 전체를 대표할 수 있는 학생 표본을 얻는

데 큰 문제가 없기 때문이다 (임형, 부재율, 박경미, 신동희, 박정, 1998).

학교 당 학생의 수를 40명으로 늘린 이유는 OE CD/ P ISA에서 정한 국가별 최

소 표본 규모와 관계가 있다. OE CD/ P ISA에 따르면 학생들의 성취수준을 국가

간에 비교하기 위해서는 국가별 표본 규모가 최소한 900명 이상이어야 한다고

규정하고 있다. 최소 표본이 확보되기 위해서는 30개 학교에서 30명이 평가에

실제로 참여해야 한다. OE CD/ P ISA는 표집된 학생들이 평가 당일에 결석을 하

거나 돌발적인 이유로 시험을 치르지 못할 경우, 학생들을 대체하여 평가에 참

여시키는 것을 금지하고 있다. 따라서 평가 당일에 학생들이 결석을 하거나 돌

발상황이 발생할 경우, 전체 표본의 규모는 900명 이하로 줄어들 위험이 있다.

이러한 위험을 방지하기 위하여, 실제 표집 인원을 최소 인원보다 10명 정도

많은 학교 당 40명, 즉 총 1,200명을 표집하기로 결정하였다. 이와 같은 한국의

표집안은 OE CD/ P ISA 표집 분야의 연구를 담당하고 있는 West a t의 Dr . Keit h

Ru st 의 승인을 받았다.

다 . 모집 단 규 정

OE CD/ P ISA의 모집단은 교육 및 직업 훈련 기관에 재학 중인 만 15세 학생

으로 정의된다. OE CD/ P ISA는 학교 및 직업 교육 기관이 학생들을 생산적인

- 82 -

사회의 구성원의 역할을 담당하기 위한 준비를 얼마나 잘 시키고 있는지를 알

아보려는 연구이다. 학생들이 사회로 진출하는 연령은 각국의 학제에 따라 차이

가 있으나 대다수의 OE CD 회원국가들의 의무교육 종료 시점은 15세인 것으로

밝혀졌다.

OE CD/ P ISA의 목적이 학생들이 얼마나 뛰어난 학자로 성장하는가 보다는 생

산적인 사회 구성원으로 활동할 수 있는 능력을 지녔는가를 파악하고자 하는

것이므로, 고등 교육을 추구하는 학생 뿐 아니라 직업 훈련 기관, 특수 교육 기

관 등 모든 형태의 교육 기관에 재학하는 학생을 평가의 대상으로 삼는다. 따라

서 국가 내 만 15세 학생들을 교육시키는 모든 교육 기관이 OE CD/ P ISA의 표

본 집단에 포함되어야 한다.

우리 나라의 경우, 만 15세 학생은 예비검사의 당해 연도인 1999년 1월 1일

을 기준으로 만 15세에 해당하는 학생, 즉 1983년 1월 1일에서 12월 3 1일 사

이에 출생한 실업계 및 인문계 고등학교에 재학 중인 학생으로 정의되었다.

1999년 2월을 기준으로 우리 나라의 만 15세 인구는 총 748,123명이었다. 이들

중 약 10%(82,29 1명)는 중학생이며, 그 중에서도 중학교 3학년이 대다수

(73,924명)를 차지하고 있는 것으로 나타났다. 이것은 만 15세라는 나이가 중학

교와 고등학교의 학교급이 나뉘어지는 경계 연령이라는 사실을 나타내 준다.

이러한 통계를 종합해보면 우리 나라 OE CD/ P ISA 대상은 고등학교 1, 2학년

과 중학교 3학년 학생에 재학하고 있는 만 15세 학생이다. 그러나 중학교와 고

등학교 두 학교급을 대상으로 하는 것은 표집 뿐 아니라 평가 시행 상에 있어

서 상당한 행정적 문제와 재정적 부담을 야기할 것으로 판단되었다. 중학교의

경우 전국에 73,924명이 분포되어 있기 때문에 한 학교 당 실제 표집 인원이 5

명이 채 되지 못한다. 이러한 난제들을 감안하여 OE CD/ P ISA의 표집 대상을

고등학교 재학생으로 제한하기로 하였다.

1998년 교육통계 연보 및 통계청 인구추계에 따르면, 만 15세 학생의 90%에 달

하는 665,585명은 인문계, 실업계, 기타 고등기술, 각종학교 및 특수학교에 재학하

고 있다. 이들 중 고등학교 1학년이 643,877명이며 2학년이 20,498명이었다. 이러

한 통계를 근거로 하여 OE CD/ P ISA를 위한 한국의 표본은 고등학교 1학년과 2학

년 학생으로 구성된 복수학년 집단의 만 15세로 규정되었다(표 V-2 참조)

- 83 -

<표 V-2 > 우리나라 만 15세 학생들의 학교급 및 학년별 분포

초 등 학 생 중 학 생 고 등 학 생

247(0.03％)

82,291(11.0％)

665,585(90.0％)

특수초등과정 : 247명 일반중학교 : 8 1,195특수중등과정 : 1,096

인문계 : 406,740 (6 1.1％)실업계 : 257,052 (38.6％)기 타 : 1,793 (0.3％)

(고등기술, 각종학교, 특수학교)1학년 : 2102학년 : 7,06 13학년 : 73,924특 수 : 1,096

1학년 : 643,877(96.7%)2학년 : 20,498(3.1%)3학년 : 617특 수 : 593

총 : 748,123명

<자료 : 교육부, 교육통계연보, 1998 >

라 . 표집 제외 대상 자 규 정

OE CD/ P ISA는 참여국 내 모든 형태의 교육기관에 재학하고 있는 만 15세 학

생들을 연구의 대상으로 삼고 있다. 각국 학생들의 성취수준에 대한 정확한 정

보를 얻기 위해서는 학교 및 학생 표집에 있어서 의도적인 편파성이 개입되어

서는 않된다. 이것은 학생의 성적, 종교, 인종, 학교의 형태나 지리적 위치 등의

사유로 평가에서 제외되어서는 안된다는 것을 의미한다. 다만 학생에게 평가에

참여할 수 업는 장애사유가 있을 때만 평가에서 제외시킬 수 있다. OE CD/ P ISA는

평가에서 제외되어야 할 장애 사유를 <표 V-3 >과 같이 밝히고 있다.

<표 V-3> OE CD/ P ISA 평가 제외 규정 및 코드

코드 설 명

신체 장애 학생

정신적 및 정서적 장애 지체 학생,(단 성적 부진 학생이나 훈육상 문제가 있는 학생은 해당되지 않음)언어 구사 능력 미숙자

(해외에 10년이상 거주하다가 최근 1년 이내에 귀국한 학생 등)

기타 (이상의 ①-③항에 해당되지 않는 장애적 사유로 시험에 응시할 수 없는 학생)

※ 단 , 일시적 부상이나 장기 결석으로 시험에 결시한 학생은 시험 제외자에 해당되지 않음 .

- 84 -

마 . 표 집 절 차

OE CD/ P ISA의 표집은 두 단계(two-st age sam plin g)를 거친다. 첫 단계는 학교

표집이다. 참여국내 학교의 지역적 분포와 학교 유형(실업계, 인문계, 특수교육기관

등)별 학교 구성비, 성별의 3개 준거에 의거하여 대표성있는 학교 표본을 선정한

다. 표집의 두 번째 단계는 학생 표집이다. 학교 유형과 지역을 고려한 1단계 절차

와는 달리, 학생 표집은 선정된 학교 내에서 무작위로 이루어진다.

1 ) 1단계 : 학교 표집

OE CD/ P ISA의 표집 학교를 선정함에 있어 OE CD/ P ISA가 제시한 2개 준거

(지역적 위치와 학교 유형) 외에 남녀 구성비를 추가적으로 고려하였는데, 기존

의 성취도 연구들을 살펴보면 남녀학생간에 유의미한 차이를 보고한 경우가 적

지 않다(Baker & J ones. 1993; Wagemaker , Munck, Kontogiannopoulou-P olydor ides

& M ar t in , 1996). 이에 따라, OE CD/ P ISA에서는 지역과 학교유형에 덧붙여 성

별을 표본 집단의 성격을 결정하는 주요 요인으로 고려하고자 한다.

OE CD/ P ISA 예비검사를 위한 학교 모집단의 지역적 분포는 <표 V-4 >와 같다.

먼저 고등학교의 지역적 분포를 살펴보면, 서울의 경우 총 학교수는 278개교

(인문계 192개교, 실업계 86개교)로 전국에서 가장 많은 학교가 밀집되어 있는

것으로 나타났다. 다음은 경기지역으로 인문계 152개교, 실업계 123개교 총

275개교가 분포하고 있었으며, 경북 200개교, 경남 16 1개교, 전북 148개교, 전

남 125개교, 부산 124개교, 강원 112개교의 순으로 분포하고 있었다. 전체 고등

학교 중 인문계와 실업계의 비율은 도시, 농촌간 차이가 현저하게 나타났는데,

농촌에 비하여 대도시로 갈수록 인문계 학교의 비율이 높게 나타났다.

학교를 표집함에 있어서 지역적 대표성 확보에 가장 중점을 두었다. 먼저 16

개 지역의 고등학교 수를 전체 고등학교 수와 비교하여 표집 학교 수를 지역별

로 할당하였다. 이에 따라 서울과 경기 각 5개, 경북 3개, 부산, 전남, 전북, 경

남 2개, 그리고 나머지 시도는 각각 1개 학교가 표집되도록 하였다. 표집의 두

번째 유층은 학교 유형이다. 전체 1,92 1개 고등학교 중 인문계 학교가 1,149개,

실업계 학교가 772개로 인문계와 실업계의 비율은 약 60 대 40정도로 볼 수

있다. 각 지역 내의 학교 유형별 비율을 6 :4로 맞추고자 노력하였으나, 지역 내

- 85 -

표집 학교가 1개인 대구, 인천, 울산, 광주 등의 경우는 인문계 고등학교를 선

정하였다.

<표 V-4 > OE CD/ P ISA 예비검사를 위한 학교 모집단의 지역적 분포

지 역학교수

표 집대상 교인문 계 실업계 계

서 울 192 86 278 5

부 산 79 45 124 2

대 구 48 24 72 1

인 천 49 31 80 1

광 주 42 14 56 1

대 전 36 14 50 1

울 산 19 11 30 1

경 기 152 123 275 5

강 원 62 50 112 1

충 북 44 32 76 1

충 남 62 44 106 1

전 남 56 69 125 2

전 북 79 69 148 2

경 북 119 8 1 200 3

경 남 94 67 16 1 2

제 주 16 12 28 1

계 1,149 772 1,92 1 30

성별 구성으로 볼 때 남녀 학생의 비율을 반반으로 보고, 남자고등학교 10개

교, 여자고등학교 10개교, 남녀 공학 10개교를 선정하였다. 이와 같이 학교가

위치한 지역적 분포와 학교유형, 성별의 3개 준거를 기준으로 설정된 유층을 충

심으로 각 유층 내에서의 비율을 고려한 유층비례표집을 실시한 결과 선정된

30개 학교는 <표 V-5>와 같다.

- 86 -

<표 V-5> 예비검사 표집학교 명단

지 역 학 교

서 울청담고(공학, 인문), 용산고(공학, 인문), 한성과학고(공학. 인문),영등포여상(여, 실

업), 서초전자고(공학, 실업)

부 산 경남고(남, 인문), 부산디자인고(공학, 실업)

대 구 대건고(남, 인문)

인 천 서인천고(공학, 인문)

광 주 광주고(남, 인문)

대 전 둔산여고(여, 인문)

울 산 울산여고(여, 인문)

경 기서현고(공학, 인문). 일산정보산업고(공학, 실업), 영복여고(여, 인문),가평종고(공

학, 실업), 평택고(남, 인문)

강 원 원주여고(여, 인문)

충 북 청주세광고(남, 인문)

충 남 부여여고(여, 인문)

전 북 전주상고(남, 실업), 남원여고(여, 인문)

전 남 목포여고(여, 인문), 영산포종고(공학, 실업)

경 북 금오공고(남, 실업), 포항대동고(남, 인문), 의성여고(여, 인문)

경 남 마산중앙고(남, 인문), 김해한일여상(여, 실업)

제 주 제주제일고(남, 인문)

2 ) 2단계 : 학생표 집

1999년 3월 초 OE CD/ P ISA의 취지와 목적을 소개하는 공문(교육부 전산

8 16 10 -)과 함께 학생 표집을 위한 만 15세 학생들의 명단(성명, 학년, 소속 학

급, 성별, 생년월일 등)을 표집학교에 요청하였다. 학생명단은 아래의 양식에 의

거하여 작성하도록 하였다. 표집된 학교에 학생명단을 요청한 지 약 2주 후 학

생들의 명단이 30개 학교로부터 도착되었다.

<표 V-6 > 학생 명단 양식

학 생 명 학 년 반 성 별 생 년 월 일

- 87 -

OE CD/ P ISA에서는 학생 표집의 절차를 표준화하고 학생 표집의 무선화

(r an dom n ess)를 증진시키기 위해 P sam plin g이라는 표집 프로그램을 개발하여

참여국에 배포하였다. 이 프로그램에 각 학교에 재학 중인 만 15세 학생의 총수

와 표집하고자 하는 학생 수(한국의 경우 40)를 입력하게 되면, 무선번호

(r an dom n u m b er ) 하나를 선정하고, 이 무선번호를 기준으로 일정 간격으로 된

번호 40개를 제공한다. 예를 들어, 학교 내 만 15세 학생이 450명이며 이중에서

40명을 표집하고자 할 경우, 프로그램은 먼저 무선번호 하나를 선정하고(10), 전

체 450명 중 40명을 고루 뽑을 수 있는 간격 11.25(약 11)을 계산한다. 표집은

무선번호인 10을 시작으로 11의 간격을 두고 2 1, 32,....의 번호를 추출한다. 추

출된 번호에 해당하는 학생들이 표집된다. 이러한 방식으로 학교별로 40명의 학

생이 표집되어, 30개 학교로부터 총 1,200명의 표본 집단이 형성되었다.

이들 표본 학생들의 학년별 분포를 보면 1학년이 1,00 1명, 2학년이 199명이

었다. 3월 1일을 기준으로 취학을 하는 우리 나라 학제 상 1983년도 출생자 중

1월과 2월 즉 12개월의 1/ 6에 해당하는 학생들이 2학년이 되며, 나머지 3월에

서 12월에 출생한 학생들이 1학년이 된 것이다. 모든 학생이 태어날 확률이 12

개월에 걸쳐 동일하다면, 전체 만 15세 중 16 .6%가 (2/ 12)가 2학년이며 나머지

83.4% (10/ 12)가 1학년이 되어야 한다. 실제 표집된 학생들의 학년비율 역시

16 .6 : 83.4로 확률적 분포와 정확히 일치하고 있다.

<표 V-7> 표집 학생의 학년별 분포

학 년 학생 수 비 율 합계

1학년 1,00 1 83.4%1200명

2학년 199 16.6%

2 . 검 사 시행

이 절에서는 OE CD/ P ISA 예비검사 실시와 관련된 시험 감독관, 학교 책임자,

그리고 국가 연구 책임자의 역할 및 임무, 검사 시행을 위한 준비 절차, 검사

당일의 실시 절차 및 검사의 질관리에 관련된 사항 등을 설명하고자 한다.

- 88 -

가 . 검사 시행 자의 역할 과 임 무

OE CD/ P ISA 예비검사는 국가 연구 책임자, 학교 책임자, 시험 감독관을 중심

으로 시행되었다. 국가 연구 책임자는 참여국 내 연구를 총괄하는 업무를 담당

한다. 학교 책임자는 표집된 학교의 평가 시행을 위한 제반 업무를 담당한다.

시험감독관은 시험 당일에 시험을 실시하며 학생들을 지도 감독하는 업무를 담

당한다.

OE CD/ P ISA는 시험 감독관의 자격요건을 다음과 같이 규정하고 있다.

요건 1 - 시험 감독관은 평가 대상 과목 (읽기, 수학, 과학) 담당교사여서

는 안된다(의 무 이 행 사항 ) .

요건 2 - 시험 감독관은 당해 학교의 교직원 이외의 인사를 위촉한다.

(권 고 사 항 )

요건 3 - 시험 감독관은 P ISA 표집 학교의 교직원이 아닌 인사를 위촉한다.

(요 망 사 항 )

위의 세 요건 중 두 번째와 세 번째 요건은 권고 또는 요망 사항으로 참여국

의 형편 상 여의치 않을 경우 반드시 준수할 필요가 없다. 그러나 OE CD/ P ISA

자료의 신뢰성을 최대한 보장하기 위해서는 위의 세 가지 요건을 모두 만족시

키는 것이 바람직하다. 우리 나라의 경우, 세 조건을 모두 만족시키는 인사로서

시도교육청의 장학사 또는 연구사를 들 수 있다. 이들은 표집 학교의 교직원이

아니기 때문에 시험 감독관의 첫 번째 요건을 만족시킨다. 동시에 표집 학교를

지도 감독하는 위치에 있기 때문에, 표집 학교와 긴밀한 유대관계를 형성하고

있어 학교책임자와도 업무 협조를 잘 이행해나갈 수 있는 인사들이다. 교육부와

시도교육청의 협조를 얻어 표집 학교 당 1명의 장학사 또는 연구사를 시험감독

관으로 위촉하였다. 예비검사의 시행과 관련하여 국가연구책임자, 학교 책임자,

시험감독관의 역할을 좀 더 자세히 살펴보고자 한다.

1 ) 국가연 구책임자

국가연구책임자는 참여국 내 OE CD/ P ISA 관련 업무를 총괄한다. OE CD/ P ISA

- 89 -

연합체에서 결정된 사항을 이행하는 한편, 필요에 따라 연구 연합체와 협의하여 국

내의 상황에 맞게 OE CD/ P ISA 절차나 방법을 조정한다. 검사도구의 번역 및 번안

(adapt a t ion), 학교 및 학생 표집 업무를 총괄하며, 표집 학교와의 연락, 학교 책임

자와 시험 감독관을 위촉하며, 이들과의 긴밀한 연계 하에 검사를 시행한다.

2 ) 학교 책임 자

학교 책임자는 표집 학교로 선정된 학교 내에서 평가와 관련된 업무를 총괄

한다. 학교 내 평가시행 일자를 정하고, 평가 대상 학생에게 평가일정을 통보하

며, OE CD/ P ISA의 취지와 참여의 필요성을 설명해 준다. 또한 한국교육과정평

가원과 시험 감독관과 긴밀히 협조하여 검사가 차질 없이 이루어질 수 있도록

한다. 학교책임자의 구체적인 임무는 다음과 같다.

- 학교 내 검사일시 선정

- 만 15세 학생명단 작성 및 국가 연구 책임자에 송부

- 한국교육과정평가원으로부터 학생 명세서 수령

- 학생 명세서 내용의 정확성 확인 및 수정 보완

- 학교 교직원과 검사 당일 일정 협의

- 예비검사 대상 학생에게 검사 일시 및 장소 통지

- 학교 설문지의 배포

- 시험 감독관과 검사 시행 계획 협의

- 변경된 검사 일시 및 시간을 한국교육과정평가원에 통지

- 검사 당일 시험 감독관 업무 지원

- 재검사 일정 선정 및 준비 (검사 응시율이 80% 이하일 경우)

- 검사지 및 설문지 한국교육과정평가원에 회송

- 학생 명세서 등 검사 관련 자료 사본 보관

3 ) 시험 감독 관

시험 감독관은 평가 당일 평가 시행을 주관한다. 시험 감독관은 한국교육과정

평가원과 학교 책임자와 긴밀히 협조하며, 검사가 OE CD/ P ISA가 정한 절차에

- 90 -

따라 시행될 수 있도록 시험 감독관의 역할과 임무를 수행한다. 시험 감독관의

구체적인 임무는 다음과 같다.

- OE CD/ P ISA 절차 숙지 (시험감독관 연수 참석)

- 학교 책임자와 검사 일정 및 업무 분담 협의

- 검사 당일 학생들에게 OE CD/ P ISA 소개

- 지시 사항 낭독

- 검사지 배포

- 시험 감독

- 검사지 회수

- 학생 명세서에 교시별 검사 응시 여부 기재

- 검사 실시 보고서 작성

- 학교 설문지 회수

- 검사지와 설문지(학생, 학교) 한국교육과정평가원에 반송

위촉된 시험 감독관들이 OE CD/ P ISA가 규정한 역할을 원활히 수행할 수 있

도록 하기 위해 OE CD/ P ISA의 목적과 취지 등에 대한 소개와 더불어 시험 감

독관의 역할과 임무에 대한 연수를 실시하였다. 시험감독관을 위한 연수는

1999년 4월 2일 한국교육과정평가원에서 실시되었다. 이와 더불어 시험 감독관

이 평가 절차를 숙지하는 것을 돕기 위해 시험감독관 지침서를 제작하여 배포

하였다. 이 시험 감독관 지침서에는 시험 감독관의 역할과 임무를 시험 전 준비

단계, 시험 당일의 일정과 역할, 그리고 시험이 종료된 후의 역할 등으로 나누

어 상세히 기록하였다(『1999 OE CD/ P ISA 예비검사 시험 감독관 지침서』참

조)). 검사 시행과 관련된 국가 연구 책임자, 학교 책임자, 시험 감독관의 역할

분장은 <표 V-8 >과 같이 정리될 수 있다.

- 91 -

<표 V-8 > OE CD/ P ISA 예비검사 시행의 역할과 책임 분장

국 가연 구 책 임 자 학 교 장 시 험 감 독 관

연구의 총괄적 관리 학교 단위로 실시하는 검사관리 표집 학교의 시험 감독

시험감독관 위촉과 연수

한국교육과정평가원, 시도교육

청과 협조하여 검사시행일시

확정

시험감독관을 위한 연수 참가

및 지침서 내용 숙지

OECD/PISA 본부와

학교질관리감독관(SQM)과의

연계

학교장과 학교질관리 감독관

(SQM)과 연계

표집 학생 및 학급명세서준비

- >한국교육과정평가원에 송부

예비검사 실시 및 감독.시행일 1- 2주 전에 검사 일정

확인을 위한 전화 연락

검사 도구 번역

한국교육과정평가원으로부터

학생 명세서 접수 및 보완,검사지 수령 및 보안 관리

검사 당일 학교장으로부터

검사지 수령 및 검사 실시

학교 표집 및 단위학교 협조

요청 의뢰

평가에서 제외하여야 할 학생

파악검사 시행일 최종 점검

학생 명세서 준비를 위한

지침서 학교에 송부

학교 설문지 수령, 배포 및

관리- >시험감독관에게 전달

OECD/PISA 본부에서 규정한

절차에 따른 엄격한 검사 실시

표집 학교 및 학생 명단 해당

학교에 통지.학생 명세서 송부

학교 직원, 학생, 학부모에게

예비검사에 대해 통지

재검사 감독

(결시생이 8명이상일 경우에

한함)

검사지와 설문지 인쇄 감독

검사일정 변경시 한국교육과정

평가원과 시험감독관에게 변경

된 검사 날짜와 시간 통지

검사실시 보고서 작성

검사지의 포장, 택배 감독 검사 시행 당일 교실 배정

학교장으로부터 학생 명세서

수령 및 한국교육과정평가원

에 반송

검사지 회수, 채점, 자료 입력

감독학생 출석 여부 확인

검사지 및 설문지 한국교육과

정평가원에 반송

OECD/PISA 검사 실시 자료

송부

재검사 운영 계획 수립

(결시생이 8명 이상일 경우에

한함)

예비검사 보고서 준비

- 92 -

나 . 검사 시행 일 선 정

한국 내 OE CD/ P ISA 예비검사는 1999년 4월 15일에서 2 1일 사이에 시행되

었다. 각 표집 학교는 이 기간 중 하루를 선택하여 검사를 실시하도록 하였다,

단, 시도 교육청 내 표집 학교의 수가 하나 이상인 경우에는 관내 학교 모두가

공통된 날에 검사를 실시하도록 권장하였다. 이는 관내 표집 학교들간에 검사

일자가 다를 경우, 인접한 학교들간에 내용이나 문항이 유출되어 검사의 신뢰도

가 손상될 가능성을 방지하기 위한 것이었다. 표집 학교의 검사 일자는 <표

V-9 >와 같다.

<표 V-9 > OE CD/ P ISA 국내 예비검사 시행일자

검사

시 행일자지 역 학 교

검사

시 행일자지 역 학 교

4월 15일

(목)

울 산 울산여고

4월 19일

(월)

서 울영등포여상

강 원 원주여고 서초전자고

충 남 부여여고

경 기

서현고

제 주 제일고 일산정보

4월 16일

(금)

부 산경남고 영복여고

부산디자인고 가평종고

대 구 대건고 평택고

인 천 서인천고

4월 20일

(화)

광 주 광주고

경 북

금오공고 대 전 둔산여고

포항대공고 충 북 세광고

의성여고

전 북

전주상고

4월 17일

(토)경 남 마산중앙고 남원여고

4월 19일

(월)서 울

청담고전 남

목포여고

용산고 영산포종고

한성과학고 경 남 김해한일여상

- 93 -

다 . 검사 지 발 송

검사지와 설문지는 검사 시행을 약 일주일을 앞두고 30개 표집 학교로 발송

되었다. 각 학교로 발송된 검사지와 설문지에는 학생의 이름과 번호가 적힌 스

티커를 부착하여 어느 검사지가 어느 학생에게 배포되어야 하는지를 명기하였

다. 학교 책임자는 검사지가 도착하면, 검사지와 설문지의 매수 및 인쇄상태, 학

생 명세서에 기재된 학생의 이름과 생년월일의 정확성 등을 점검하도록 하였다.

검사지와 설문지의 도착 상태에 대한 점검이 끝나면, 검사 당일까지 보안이 유

지되는 곳에 검사지를 보관하도록 하고, 검사지의 복사 및 사전 유출을 엄격히

금지하도록 하였다.

라 . 검사 시행

검사 당일 시험 감독관이 표집 학교에 도착하면, 학교 책임자로부터 검사도구

를 인계받았다. 검사는 학교별로 시험감독관의 감독 하에 실시되었다. 검사가

시작되기 전 학생들은 시험감독관으로부터 OE CD/ P ISA에 대한 간단한 소개와

우리 나라가 이 검사에 참여하는 이유를 설명들었다. 학생들에게 OECD/ PISA를 소개

하기 위한 내용은 시험 감독관 지침서의 시험 감독 대본에 기록되어 있다(한국

교육과정평가원, 1999a).

시험감독관이 검사지 스티커에 부착된 이름을 호명하면 학생들이 나와서 검

사지를 받아 가는 형식으로 검사지가 배포되었다. 검사지가 학생들에게 배부된

후, 시험 감독관은 OE CD/ P ISA의 문제 유형과 응답 요령을 설명하는 일반 지

시 사항을 학생들에게 낭독하였다. 검사 시간은 인지검사 120분, 설문조사 35

분, 그리고 휴식시간 2 5분으로, 총 170분이 소요되었다. 검사는 <표 V-10 >의

검사시간표대로 진행되었으며, 검사 30분이 경과하면 학생들로 하여금 필기구

를 바꾸도록 지시하였다. 매교시 마다 검사 종료 10분 전임을 알리는 안내를

하도록 하였다. 인지 검사의 경우, 스톱워치를 이용하여 검사 시간을 엄격하게

준수하도록 하였으나, 설문조사의 경우에는 필요에 따라 시간을 연장할 수 있도

록 하였다.

- 94 -

<표 V-10 > 검사 시간표

교시 검사 내용 시 간

1교시 인지검사 1부(읽기, 수학, 과학) 60분

휴식 10분

2교시 인지검사 2부(읽기, 수학, 과학) 60분

휴식 5분

3교시 학생설문조사 35분

전 체 2시간 50분

마 . 검사 의 사 후 관 리

검사가 종료된 후 시험 감독관이 검사지와 설문지를 회수하였다. 시험 감독관

은 검사지와 설문지의 매수를 확인하고, 표집 학생들의 교시별 검사 응시 여부

를 학생명세서에 표기하고, 학생들의 응시율을 파악하여 재검사 필요 여부를 결

정한다. OE CD/ P ISA 연합체에서 설정한 최소 응시율은 75%이다. 이러한 기준

을 우리 나라의 학교 당 학생 수 40명에 적용하면, 최소 응시인원은 30명이다

(40 *0 .75). 그러나 우리 나라의 표집 규모가 30개 학교 1,200명으로 일부 참여

국의 60개 학교 1,800명에 비해 상대적으로 적은 것을 고려해 최소 응시율을

80%로 설정하였다. 이에 따라, 학교 내 결시인원이 8명 이상일 경우에는 재검

사를 실시하도록 하였다. 우리 나라의 경우 결시 인원은 전체 1,200명 중 총

17명에 불과하여 재검사가 필요한 학교는 없었다.

시험 감독관의 중요한 임무 중의 하나가 검사실시보고서를 작성하는 것이다.

검사실시보고서는 검사의 시작과 종료 시간(매교시 별), 검사 응시 인원, 검사

시간 내 발생 상황 등, 검사 전반에 관한 사항을 기록하는 것이다. 이 보고서는

각 참여국이 OE CD/ P ISA의 연구연합체가 제시한 검사실시규정을 얼마나 충실

히 준수하였는가를 점검하는 자료가 된다.

시험감독관은 검사지와 검사실시보고서, 학생명세서 등은 검사 종료 후 24시

간 이내에 한국교육과정평가원으로 반송하여 줄 것을 요청하였다. 검사가 종료

된 1주일 내에 30개 표집 학교로부터 검사자료가 모두 도착하였다.

- 95 -

바 . OE CD/ P ISA의 질 관 리

국가간의 학력을 비교하기 위한 국제 비교 연구에 있어 가장 중요한 것은 검

사시행 절차가 국가간에 얼마나 표준화되었는가 하는 것이다. 만약, 한 나라의

검사상황이나 여건이 다른 나라에 비해 월등히 우수하거나 열악할 경우, 평가

결과만을 가지고 국가간의 비교를 하는 것은 타당하지 않을 것이다. 선행 국제

비교 연구 중 상당수가 검사 시행에 있어서의 질 관리를 국제 비교 연구의 가

장 큰 숙제로 지적한 바 있다(T IM SS -R QCM M an u a l, 1998).

OE CD/ P ISA가 가장 주안점을 두고 있는 분야 중의 하나도 평가 시행의 질

관리이다. 이를 위해 OE CD/ P ISA는 다양한 질 관리 방안을 마련하고 있다.

OE CD/ P ISA의 질 관리 방안은 크게 두 부분으로 나누어 볼 수 있다.

첫번째는 검사 시행을 위한 준비 단계에서의 질 관리이다. 이것은 검사도구의

번역, 표집 설계 및 표집 과정, 검사 시행 관련자(학교책임자, 시험감독관) 선정

방법 및 연수 등에 관련된 것이다. 이들 활동에 대한 질 관리는 주로 국가 연구

센터가 OE CD/ P ISA가 정한 절차와 규정에 따라 연구를 진행하고 있는가를 점

검하는 활동으로, 국가연구센터 질 관리 감독관 (N at ion al Cen t er Qu ality

Mon it or : N CQM)이 참여국의 국가연구센터를 직접 방문하여 질 관리 감독을 실

시하였다. 우리 나라에 대한 질 관리 감독관은 호주 교육 연구 위원회의

Rob er t Ch at field이며, 1999년 4월 7일과 8일 양일간 한국교육과정평가원을 방

문하여 우리 나라의 연구 진행 상황에 대한 심도 깊은 면담과 자료 수집 활동

을 실시하였다.

N CQM은 참여국의 연구 이행 상황을 점검하는 역할과 더불어, 국가 연구 책

임자가 갖고 있는 문제와 우려를 같이 협의하고, 참여국의 목소리를 연합체에

전달하는 전달자의 역할을 동시에 겸하고 있다.

두 번째 질 관리 분야는 검사 시행에 대한 것이다. 검사 시행에 대한 질 관리

는 학교 질 관리 감독관(Sch ool Qu alit y Mon it or : SQM)이 담당한다. 학교질관

리 감독관은 한국에 거주하는 교육 전문가로서 국가 연구 책임자의 추천을 거

쳐 OE CD/ P ISA가 최종 결정하여 위촉한다. 위촉된 SQM은 표집 학교에서 검사

가 시행되는 절차와 과정을 관찰하여 보고한다. 우리 나라의 경우, 세 명의 학

교 질 관리 감독관이 위촉되었으며, 이들은 NCQM의 한국 방문 중 OE CD/ P ISA의

- 96 -

질 관리 연수를 받았다. SQM은 서울에 소재한 3개 학교와, 대전과 대구 소재

각 1개 학교, 총 5개 학교의 예비검사 시행 과정을 직접 관찰하고, 학교 책임자

및 학생들로 부터 검사 문항의 난이도와 설문지 내용에 대한 의견 등을 수렴하

여 OE CD/ P ISA에 보고하였다. SQM들이 표집학교의 검사실시를 참관한 후 그

결과를 ACE R에 보고하도록 되어 있다. 한국 SQM들이 검사 참관 보고서의 내용

이 <부록 2>에 첨부되어 있다.

ACE R는 각국의 검사참관보고서를 수합하여 예비검사의 규정이 얼마나 충실

하게 지켜졌는가를 점검한 후 참여국 전체의 SQM 보고서를 종합한 국제 SQM

보고서와 한국의 SQM 3인이 작성한 한국의 검사시행의 충실성에 대한 보고서

를 각기 국가연구책임자에게 송부한 바 있다. 한국의 검사 시행에 관련한 보고

서에 따르면 한국은 OE CD/ P ISA가 요구한 예비검사 절차를 충실히 이행했으

며, 검사 환경도 비교적 양호한 편이었으나, 학교에 따라서는 약간의 소음이나

방해요인이 관찰된 곳도 있었다.

검사 후 SQM은 학교장과의 면담시간을 가졌는데, 대부분의 학교장들은 검사

준비나 시행에 큰 어려움은 없었으나 학교내 만 15세 학생의 명단을 작성하는

작업이 상당히 부담스러웠다고 밝혔다. 또한 SQM들과의 면담에서 학생들은 설

문 내용이 한국적 상황에 맞지 않는 것들이 있어 답변에 어려움을 겪었다고 답

하였다. 따라서 향후 본검사에서는 문화적, 사회 환경적 측면에서 설문 문항에

대한 심도깊은 검토가 있어야 할 것으로 판단되었다.

OE CD/ P ISA 예비검사 시행이 종료된 후 SQM과의 협의회, 시험 감독관들이

작성한 검사실시 보고서, 그리고 연구진의 검사 참관 관찰 결과를 토대로 예비

검사까지의 OE CD/ P ISA 설계 및 절차에 대한 영문 보고서를 작성하였다<부록

3 참조>. 이 보고서에는 평가틀 및 문항의 개발, 번역, ACE R에 시행한 번역의

정확성 검증 절차, 검사 시행 절차에 있어서의 한국의 경험과 애로 사항, 그리

고 개선을 위한 제언 등이 제시되어 있다. 이 보고서는 호주의 ACER이

OCED/ P ISA의 중간 점검을 위해 개최한 세미나에서 발표된 바 있으며, ACE R

를 위시한 연구 연합체가 향후 연구를 개선하기 위한 자료로 활용될 것이다.

- 97 -

3 . 채 점

이 절에서는 OE CD/ P ISA 예비검사의 채점검사, 채점자 선정 및 연수, 채점

기준, 채점 방식 등에 대해 기술하였다.

가 . 채점 절차

OE CD/ P ISA 예비 검사의 채점 절차는 매우 복잡하면서도 독특하다고 할 수

있다. 채점 방식은 검사 문항의 형태에 따라 다른 데, 선택형 문항의 경우, 학생

들이 선택한 선택지의 번호를 컴퓨터 프로그램(KeyQu est )에 입력하게 되면 사

전에 입력된 채점 코드에 따라 채점이 자동적으로 이루어진다. 반면 주관식 문

항의 경우, 채점자가 학생의 답안 내용을 보고 OE CD/ P ISA에서 제공한 채점

기준에 따라 해당하는 코드를 배정하게 된다.

채점 기준 내에는 몇 가지의 코드가 존재하는데 이 코드 체계는 정답의 속성

의 과다에 따른 위계적 체계를 갖고 있지 않은 경우도 있다. 예를 들어 한 문항

에 대한 학생들의 답안은 0, 1, 2 , 8 , 9로 채점되도록 채점 기준표에 제시되어

있는 경우, 8이나 9가 1과 2 보다 더 높은 점수를 의미하는 것이 아니라는 것

이다. OE CD/ P ISA의 점수는 엄밀하게 말하면 점수가 아니라 특정 답안의 속성

이나 내용을 숫자로 바꾼 코드라고 할 수 있으며, 채점의 과정 역시 채점이라기

보다는 코 드 화 (codin g) 작업이라고 보는 것이 더 적절할 것이다.

OE CD/ P ISA에는 기존의 국제 학력 비교 평가에 비해 주관식 문항의 비율이

높다. 이러한 주관식 문항을 코드화 함에 있어 채점자들이 채점기준을 얼마나

일관되게 적용하였는가는 자료의 신뢰도에 영향을 미치는 중요한 변수 중의 하

나이다. 주관식 문항의 코딩 과정에서 채점자간의 일치도를 알아보기 위해 일부

검사지에 대해서는 복수 채점을 시행하도록 하였다. 이를 위해 OE CD/ P ISA에

서는 수학과 과학 채점자 4명, 그리고 읽기 채점자 7명, 총 11명을 선정할 것을

요구하였다. 수학과 과학 영역의 문항은 한 사람의 채점자가 수학과 과학 영역

의 문항을 모두 채점하도록 하였다.

우리 나라의 경우 1,200여 개의 검사지 중 38%에 해당하는 482개 검사지를

- 98 -

4명의 채점자가 복수 채점하였다. 복수 채점을 위한 검사지를 선정하는 방법은

다음과 같다.

첫째, 각 검사지(1종에서 9종)를 학교별로 그리고 학교 내에서는 학생의 일련

번호별로 정리하였다.

둘째, 각 검사지 중 일정 간격별로 총 48개의 검사지 복수 채점용으로 선정

하였다. 각 검사지 종별로 선정된 48개를 모두 수합하여 총 432개(48×9종)가

복수 채점용으로 분류되었다.

셋째, 복수 채점용으로 선정된 검사지는 학교별로, 그리고 학교 내에서 검사

지 종별 (1-9)로 정렬되었다.

나 . 채점 자 선 정 및 연수

OE CD/ P ISA에서는 읽기 영역의 채점자는 7명이며 수학 및 과학 영역의 채점

자는 4명으로 규정하고 있다. 여기에서는 각 영역별 채점자 선정 및 연수과정을

기술하였다.

1 ) 읽기

주관식 문항을 위한 채점자는 각 교과별로 선정하였는데 읽기의 경우 경력 15년

이상의 고등 학교 영어 및 국어 교사를 위촉하였다. 총 172개의 주관식 문항은 각

문항별로 각기 다른 채점 기준 및 예시 답안이 제시되어있는데 제시된 채점 기준

표에 의하여 일관성 있고 정확한 채점을 하기 위하여 본 연구의 읽기 담당 연구자

가 벨기에에서 열린 OE CD/ P ISA 채점자 연수에 직접 참여 한 후 연수 자료를 토

대로 채점자들에게 채점에 대한 연수를 실시하였다. 채점자들은 몇 번의 협의회를

거쳐서 모호한 기준의 채점에 대하여 서로 논의하고 조정하였다.

2 ) 수학/ 과학

수학과 과학의 주관식 문항 채점자는 수학 이나 과학 교육학을 전공하고 있

는 박사과정 대학원생 중에서 4명을 위촉하였다. 이들 채점자들은 모두 TIM SS

와 TIM SS -R의 주관식 문항을 채점한 유경험자로, 채점 기준에 대하여 상호 긴

- 99 -

밀한 협의 과정을 통해 채점을 진행하였다. OE CD/ P ISA의 채점을 위해 선정된

11명의 채점자들의 연수는 다음 절에 기술되어 있는 채점기준과 채점방식에 관

한 연수를 받고 약 20일에 걸쳐 채점을 실시하였다.

다 . 채점 기준

OE CD/ P ISA 예비검사 문항은 선택형, 짧은 단어나 문장으로 구성된 서술형

문항 그리고 좀 더 긴 문장으로 구성된 서술형 문항 등 여러 다른 종류의 문항

을 포함하고 있다. 객관식 문항과 주관식 문항에 대해 OE CD/ P ISA 본부에서는

채점 기준을 마련하여 객관적인 채점 자료로 활용할 수 있도록 하였다.

채점 기준의 구성 요소는 질문 의도, 숫자 코드와 답안, 가능한 답안 예시 등

이다. 채점 기준에 제시되어 있는 질문 의도 유형은 평가틀에서 기술한 바 영역

별로 상이한데, 읽기 영역의 경우는 정보를 생각해 내기, 대략적인 이해를 형성

하기, 해석을 전개시켜 나가기, 본문의 내용에 대해 기억하기, 본문의 형식에 대

해 기억하기 등의 5유형이 있다. 과학 영역의 경우, 문제 의도는 지식과 탐구의

2유형으로 제시되어 있다. 학생들의 답안을 어떻게 코드화해야 하는 지에 대한

코드화 지침은 숫자 코드, 해당 코드의 채점 기준에 대한 일반적인 설명 그리고

실제로 시험을 실시하여 수집된 자료 중에서 선택된 예상되어지는 답안의 사례

로 구성되어 있다.

채점기준의 설정 방법은 코드간의 위계화 정도에 따라 세 가지로 대별할 수

있다. 첫 번째는 코드가 위 계화 (h ie ra rc h y )되어 있는 경우이다. 설정된 코드

사이에 위계가 존재하여 코드 0에 해당하는 답안보다는 코드 1에 대한 답안이

문제의 의도에 보다 충실하고, 마찬가지로 코드 1보다는 코드 2에 대한 답안이

보다 의미있는 경우이다. 두 번째는 코드 사이의 관계가 비 위계 적인 경우이다.

설정된 코드에 해당하는 답안들이 동등하게 의미를 갖는 경우이다. 예를 들어

1, 2 , 3, 8 , 9로 채점기준이 설정되어 있는 경우, 1, 2 , 3에 대한 답안이 종류는

다르지만 답안의 수준은 동등한 경우를 말한다. 세 번째는 코드가 반 (半 )위 계 적

인 경우로, 부분적으로만 위계적이기 때문에 채점 코드 중 부분적으로는 위계성

이 적용되고 일부에 대해서는 그렇지 않은 경우이다. 예를 0, 1, 2 , 3, 8 , 9로

채점기준이 설정되어 있고, 코드 0에 대한 답안과 코드 1, 2 , 3에 해당하는 답

- 100 -

안 중 후자가 전자에 비해 큰 의미를 지니나, 코드 1, 2 , 3에 대한 답안들은 동

등한 가치를 지니기 때문에 위계성이 존재하지 않는 경우를 말한다.

한편 채점 기준에는 몇 몇 특수한 코드가 사용되는데 코드 0은 질문에 대답

하는 시도가 성공적이지 않았다는 증거가 보이는 답들을 위한 것이다. 코드 8은

영역에 따라 그 의미가 다른데 읽기의 경우, 본문이나 문항에서 요구하는 과제

와 상관이 없는 답안을 가리킨다. 즉, 코드 8은 학생이 그 질문에 진지하게 대

답하기를 거절했다는 증거가 있는 답들에 적용되는 것이다. 그러나 수학의 경우

코드 8은 기존의 채점코드에 해당하지 않는 응답을 코드화하기 위해 남겨놓은

여벌의 코드로 분류된다. 읽기, 수학, 과학의 세 영역에서 코드 9는 무응답을

의미한다. 각 문항별 채점기준과 예시답안은 OE CD/ P ISA 예비검사 자료집(비공

개 원칙의 별도책자)에 수록되어 있다.

라 . 채점 방식

채점은 단수 채점과 복수채점의 두 과정으로 실시되었다. 단수 채점이란 하나

의 검사지에 대해 한 사람의 채점자가 코드를 배정하는 것을 말한다. 복수 채점

이란 한 학생의 응답에 대해 네 사람의 채점자가 독립적으로 코드를 배정하는

과정을 말한다. 앞서도 밝힌 바와 같이 복수 채점은 주관식 문항 채점에 있어

채점자가 얼마나 일관되게 채점기준을 적용하는가를 알아보기 위해 동일한 답

안을 복수의 채점자가 채점하는 방식을 말한다. 단수 채점을 먼저 실시한 후 복

수채점을 실시하도록 하였다. 그 이유는 단수 채점을 통해 채점자들이 채점기준

을 적용하는데 어느 정도 익숙하도록 한 후 채점자들간의 일치도를 점검하는

것이 공정하다고 판단하였기 때문이다.

단수 채점의 경우 전체 검사지에서 복수 채점용 검사지를 제외한 나머지 검

사지를 종별로 한 사람의 채점자에게 배정하는 방식을 취하였다. 복수 채점의

경우 검사지 배정은 OE CD/ P ISA에서 정한 방식을 준수하였다. 각 채점자별 검

사지 배정방식은 <표 V-11>과 같다.

- 10 1 -

<표 V-11> 각 영역별 복수채점 방식

영 역검 사지

종류채점자 검 사지 배정 방식

읽기1, 2, 3, 4,

5, 6, 9

A 1 5a +5b 3a +3b 6a+6b

B 2 6a +6b 4a +4b 9a+9b

C 3a+3b 9a +9b 5a +5b

D 4a+4b 1 6a +6b 3a+3b

E 5a+5b 2 9a +9b 4a+4b

F 6a+6b 3a +3b 1 2 5a

G 9a+9b 4a +4b 2 1 5b

수학/과학 1, 2, 7, 8

H 1a+7b 8a +1b 7a +2b 2a+8b

I 2a+8b 7a +2b 8a +1b 1a+7b

J 7a+2b 1a +7b 2a +8b 8a+1b

K 8a+1b 2a +8b 1a +7b 7a+2b

* 표 안의 숫자는 검사지 번호를 나타내는 것이고 , a와 b는 복수 채점용 검사지를 반으로 나누어

앞의 24개를 a로 , 뒷부분의 24개를 b로 분류한 것임 .

마 . 채점 결과 의 기 록

단수 채점의 경우 검사지에 직접 코드를 기록하였다. 검사지의 문항 우측 상

단에는 문항번호와 문항의 답을 위한 코드가 병렬로 기재되어 있다(그림 V-1

참조). 채점자는 학생들의 답안을 읽고, 채점기준에 따라 해당 코드를 정한 후

검사지의 코드 중 해당 코드 하나에 동그라미를 친다.

문제 1 : 영화표 R092Q0 1- 0 1 2 8 9

이 표를 사용할 수 있는........

[그림 V-1] 주관식 검사 문항의 형태 예시

- 102 -

한편, 한 검사지를 네 명의 채점자가 독립적으로 코딩을 하게 되는 복수채점

의 경우, 채점 결과는 검사지에 직접 기재하지 않는다. <표 V-11>에 제시된 채

점자별 검사지 배정표에 따라 그 검사지를 마지막으로 채점하는 네 번째 채점

자만 검사지에 코드를 직접 기재하도록 하고 나머지 세 명의 채점자는 별도의

채점표 양식에 학생의 답안에 대한 코드를 기재하도록 한다. 이들 표에 나타난

바와 같이, 검사지 2a와 8b는 마지막 채점자인 A가, 검사지 6은 마지막 채점자

E만 검사지에 직접 결과를 기록하게 되며, 나머지 채점자들은 별도의 채점표

양식에 자신들의 채점 결과를 기재하게 되는 것이다.

- 103 -

V I. 예비 검사 결과 분석

이 장에서는 OE CD/ P ISA 예비검사 자료의 분석 결과를 논의하고자 한다. 예

비검사 자료의 분석은 문항의 난이도와 변별도, 학생들의 답지 반응율 등을 중

심으로 한 양적 분석과 교과전문가의 질적 분석으로 이루어져 있다. 예비검사를

실시하는 목적이 개발된 문항의 통계적 특성과 적합성을 경험적인 자료를 통해

점검하고 본검사에 사용될 양질의 문항들을 선정하는 기초 자료로 활용하고자

하는 것인만큼 문 항 수 준 의 분 석에 초점을 맞추었다3).

1 . 문 항 분석 결과

V장에서 기술한 채점 과정을 거친 자료는 OE CD/ P ISA가 자체 개발한 자료

입력 프로그램인 K eyQu est에 입력되었다. K eyQu est는 각 문항에서 학생들이

받을 수 있는 점수 혹은 코드의 범위를 미리 설정해 놓은 프로그램이기 때문에

자료 입력의 오류를 방지할 수 있다. 또한 프로그램 내에 설문자료와 검사자료

의 학생 정보를 연결시킬 수 있는 장치가 제공되어 있어 자료 입력 후 각 학생

의 고유 번호가 오류없이 입력되었는지, 그리고 설문자료와 검사자료 간 학생

정보가 제대로 일치하는지를 자체 점검하도록 되어 있다. 입력된 자료는 자료

분석 담당기관인 ACE R로 송부되었고, ACE R은 한국으로부터 자료를 접수한지

약 6주만에 한국 학생들의 자료를 분석한 보고서를 한국에 제공하였다.

자료 분석 보고서는 각 문항에 대해 답지반응분포, 난이도, 변별도, 모형적합

도(in fit ), 선택지(선택형)나 점수(주관식)별 학생능력추정치에 대한 그래프 등을

주 내용으로 하고 있다. [그림 VI-1]은 ACE R에서 제공한 문항분석 보고서를

예시한 것이다.

3) OECD/ PISA의 9개 검사지 간의 문항의 난이도에 대한 통제가 이루어지지 않은 상태

이므로, 학생들의 영역별 성취도나 영역간의 성취수준의 차이에 대한 분석은 본검사

자료가 확보되는 2000년 말에 실시할 계획이다.

- 104 -

[그림 VI-1] 답지반응분포

답지반응분포 (ca t egory fr equ en cy)는 선택형의 경우 문항에 제시된 각 선택지

에 반응한 학생 수와 비율을 제시하였고 주관식 문항에 있어서는 점수 (0 , 1, 2 ,

3)를 얻은 학생의 수와 비율을 제시하였다. 선택형 문항의 경우 문항 난이도는

정답을 선택한 학생들의 비율에 해당한다. OE CD/ P ISA 전체 문항의 답지반응

분포는 <부록 4 >에 제시되어 있다.

문항의 변별도 (Discr im in a t ion )는 선택형의 경우 각 문항에서 학생들이 얻은

점수와 총점 간의 상관계수로 표현되며, 주관식 문항의 경우, 각 문항에서 얻을

수 있는 최고 점수 대비 학생이 각 문항에서 실제로 획득한 점수의 비율

(pr opor t ion )의 합과 검사에서 얻을 수 있는 만점간의 상관계수로 표현된다.

모형적합도 (In fit MN SQ)는 문항에 대한 학생들의 실제 반응이 문항반응이론

에서 설정한 모형에 적합한지를 나타내주는 지표로서, In fit의 수치가 1에 가까

울수록 학생들의 반응과 Ra sch 모델에서 가정하는 학생들의 반응패턴이 일치함

을 시사한다. 모형적합도가 1로부터 멀어질수록 학생들의 실제반응이 문항반응

모형과 차이가 큼을 나타낸다.

분석 보고서에는 각 문항의 단계나 답지에 응답한 학생들의 평균 능력 모수

치를 한눈에 볼 수 있도록 막대그래프가 제시되어 있다. 이 그래프에는 두 개의

막대그래프(그림 VI-2 참조)가 포함되어 있는데, 첫 번째 그래프는 각 문항의

- 105 -

선택지(선택형)나 점수(주관식)를 선택 또는 획득한 학생들의 평균 능력추정치

(a ver a ge ab il it y by ca t egor y)를 막대그래프로 표현한 것이다. 아래쪽에 제시된

그래프는 선택지별 점수와 총점간의 상관관계(p oin t -b iser ia l)를 나타낸 것인데,

이들 막대그래프를 대비시킴으로써 각 문항에서 높은 점수를 받은 학생이 높은

능력을 가진 학생들인지 그렇지 않은지를 도식적으로 점검할 수 있게 하였다.

그래프를 통한 문항점검방식은 선택형 문항의 경우 정답을 고른 학생집단의

능력 추정치가 오답을 한 학생집단의 능력 추정치보다 높게 나타나야 하며, 주

관식 문항의 경우, 집단간 능력치의 평균이 단계별 점수에 따라 서열화되는지를

막대의 길이를 통해 점검한다. 아래쪽 그래프에서는 오답이 양수의 상관 계수를 갖

거나 정답보다 더 높은 상관 계수를 갖는 경우와, 정답이 음수의 상관 계수를

갖는 경우 등을 막대의 길이나 상하 방향을 통해 파악하는 것이다. 막대그래프

는 문항 내에 제시된 선택지의 내용과 성격을 조절하거나 다단계 문항

(p olyt om ou s it em )의 경우 단계간의 위계를 정립하여 문항의 양호도를 높이는

데 유용한 자료로 활용될 수 있다.

[그림 VI-2] 문항 분석 결과의 도식화

- 106 -

예비검사 분석 보고서에는 문항의 남녀차별적 기능을 감지하기 위한 문항편

파성 분석이 포함되어 있다(그림 VI-3 참조). 문항의 편파성은 동일한 능력을

가진 피험자가 성별이나 기타 요인 때문에 문항을 맞추거나 특정 점수를 얻을

확률이 달라지는 것을 의미한다. ACE R에서는 R a sch모델을 이용하여 집단별

문항의 난이도(Delt a )와 집단간의 비교를 용이하게 하기 위해 조정된 델타

(a dju st ed Delt a )계수를 제공한다. 만약 남학생 집단의 조정된 Delt a가 여학생

집단의 조정된 D elt a에 비해 더 높을 경우, 그 문항은 여학생 집단에 더 어려웠

다는 사실을 의미한다. 조정된 델타값의 차이(D =d 1-d2)가 양수인 경우, d 1집단

에 문항이 더 어려웠음을 의미하고, 음수일 경우에는 d2집단에 더 어려웠음을

의미한다. 표준화된 D(St an dar dized D)값이 ±1.96의 범위를 벗어날 때, 이 문

항은 편파성이 있는 것으로 판정하게 된다.

[그림 VI-3] 문항의 남녀 차별적 기능 분석

이와 같은 문항의 통계적 특성을 중심으로 예비검사 결과를 분석한 결과 읽

기, 수학, 과학 영역의 문항은 전반적으로 매우 양호한 양상을 보였다. 읽기와

과학 문항의 경우, 난이도는 0 .5∼0 .6 수준의 문항이 대부분이었고, 변별도는

0 .2∼0 .5 수준이었다. 수학 문항은 대체적으로 어려운 문항들이었고, 변별도는

읽기, 과학에 비해 상대적으로 높은 0 .5∼0 .6 정도였다.

- 107 -

문항의 적합도를 점검하기 위한 주요 준거로는 모형적합도(In fit MN SQ)와

변별도를 사용하였다. 위에서 기술한 바와 같이 모형 적합도는 학생의 능력추정

치에 따라 문항에 대해 특정 수준의 반응을 보일 것을 가정하고, 이 가정에 맞

는 형태의 문항반응을 보였는지를 나타내 주는 지표이다. 일반적으로 정상적인

기능을 하는 문항의 모형적합도 수치는 0 .7∼1.2의 범위로 보고 있다. 한편, 모

형적합도의 수치가 1.2 이상인 문항은 능력이 높은 것으로 추정되는 학생이 그

문항에 대해 오답 반응을 보인 문제있는 문항(fla gged it em ) 이다.

문항의 적합도가 1보다 큰 경우는 능력이 높은 학생들이 오답을 한 경우이므

로 변별도가 음수로 나올 확률이 매우 크다. <표 VI-1>에서 볼 수 있는 바와

같이 모형적합도가 1.3 이상인 문항의 경우, 변별력이 대부분 음수이거나 0에

가까운 수치를 보이고 있음을 알 수 있다.

문항 통계치를 분석한 결과 이러한 문항들이 11개 정도 발견되었다. 이들 문

항을 평가 영역별로 살펴보면 읽기가 7개, 수학과 과학이 각각 2개씩이었다. 문

항의 형태로 보면 선택형 문항이 5개(OX문제 포함), 주관식 문항이 7개였다. 이

로 미루어 볼 때 학생들의 실제 문항 반응이 모형과 일치하는 정도는 문항 형

태와는 관련이 없는 듯하다.

문항의 내용에 대한 분석을 통해서 학생들의 실재 반응이 왜 문형과 일치되

지 않는데에 대해 알아보았는데, 먼저 읽기 문항 중 모형적합도와 변별도가 낮

게 나타난 문항은 7 문항이다(표 IV-1 참고). 먼저 R067Q04 이솝우화 의 채점

기준에 따르면 아들의 죽음을 운명론적으로 해석한 답을 3점으로 간주하고, 사

실적으로 해석한 것을 2점으로 간주하고 있는데 이는 문제가 있다. 왜냐하면 운

명론적 해석은 특정 가치관을 반영하는 것으로 채점 기준의 위계성에 문제가

있다고 판단이 된다. 이 기준대로라면 잘하는 학생이 3점대신 2점을 받을 확률

도 높다고 볼 수 있다.

읽기 문항 R086Q06 만약에 의 경우에는 특별한 원인을 찾기 어려웠다. 단,

정답률이 매우 높은 것으로 미루어 능력이 높은 것으로 추정되는 학생이나 그

반대의 학생의 경우 모두 쉽게 문제를 풀 수 있었기 때문에 정상 분포를 찾을

수 없었던 경우가 아닌가 생각된다.

읽기 문항 R09 1Q02 모어랜드 는 두 가지 원인이 복합적으로 작용한 것으로

생각해 볼 수 있다. 먼저 검사지 본문에서 켐벨 턴불 도서관의 경우 폐관 시간

- 108 -

이 편집의 잘못으로 누락되어 있었다(폐관 시간을 오후 5시). 또한 이 문항은

번역상의 문제와도 관련이 있는데, 곧 금요일 오후 6시까지 문을 여는 도서관

은? 이라는 문항은 번역이 잘못된 것인데, 금요일 오후 6시에도 문을 여는 도

서관은? 이라고 해야 한다. 우리 나라 학생들은 누락된 켐벨 턴불 도서관의 폐

관 시간이 6시라고 추정하여 답안으로 택한 경우가 많았다. 이런 결과로 인해

이 문항은 모형 적합도와 변별도가 낮은 문제 있는 문항 으로 분류되었다.

읽기 문항 R 119Q 10 선물 은 이 이야기는 누구의 관점에서 전개되고 있는

가? 라고 학생들에게 물었는데 채점 기준에 의하면, 그녀의 관점 만 코드 1을

주고 그 외의 답안은 코드 0으로 처리하게 규정되었다. 그런데 우리나라 학생들

은 누구의 관점 이란 용어를 국어 교육과정에서 많이 쓰이는 인칭 내지 시점

이란 용어와 동일하게 파악하였다. 우리나라 학생들의 답안을 보면, 3인칭 시

점 , 3인칭 관점 , 작가의 관점 , 글쓴이의 관점 등으로 답한 경우가 많았다.

이런 답안은 모두 오답으로 처리되었기 때문에 문항의 적합도나 변별도를 추정

할 수 없었던 것으로 생각된다.

읽기 문항 R2 19Q0 1 고용지원서 는 제시된 정보를 이용하여 근무가능시간을

채우는 문제인데, 검사지 본문이 잘못 제시되었고, 문제지가 잘못 번역되었다.

지원동기 는 누구를 통해서(어떻게) 이 직업을 알게 되었는가? 로 출퇴근용

차량 소유 여부 는 출퇴근시에 사용할 차량의 유무 로 번역되어야 한다.

읽기 문항 R228Q03 교환학생을 위한 안내 는 문제의 보기에서 정답은 D번

이나 B번 보기도 정답으로 간주할 수 있을 정도로 답과 비슷하다. 번역은 올바

로 되었으나 원문의 뉘앙스와 번역본의 뉘앙스에 약간의 차이가 있어 원문으로

는 큰 문제가 없으나 번역문으로는 두 보기의 의미가 유사하다. 이에 학생들이

혼돈을 일으켜서 변별도가 낮게 나타난 것으로 보인다.

읽기 문항 R240Q0 1은 문제를 쉽게 생각하고 쓴 학생들은 답을 제대로 맞춘

반면, 지나치게 신중하게 생각한 학생이 오답을 한 예라고 생각된다. 이 문항은

진통제에 들어 있는 설명서에 적힌 내용에 관한 것인데, 설명서에 따르면 7일

이상 복용할 수 없는 것으로 되어 있다. 문제는 이 약을 복용할 수 있는 최대기

간을 묻는 것으로, 많은 학생들이 7일 보다 하루가 적은 6일로 응답하였다. 우

리말의 이상 이라는 단어가 갖는 의미 때문인지, 생각을 많이 한 학생들은 약을

복용해도 안전한 기간이 7일 보다 하루가 적은 6일로 응답한 것이다. 이러한

- 109 -

문제들은 능력의 문제라기 보다는 한국어의 뉘앙스의 차이에서 오는 번역상의

문제와도 연관성이 있다.

수학 문항 중 모형적합도와 변별도가 낮게 나타난 문항은 두 문항이다(표

IV-1 참고). 우선 M 159 Q03 경주용 차의 속도 는 주어진 그래프의 특정 구간에

서 속도를 바르게 설명한 답을 선택하는 객관식 문항으로, 정답을 선택한 학생

의 비율은 86 .5%였다. 이 문항의 모형적합도는 적정 수치의 범위를 벗어나는

1.44이며, 변별도 역시 0 .14로 낮게 나타났다. 그 원인은 여러 가지 측면에서

살펴볼 수 있겠지만, 가능한 설명 중의 하나는 수학의 성취도 수준이 높은 학생

들이 단순한 문제를 지나치게 어렵게 해석하여 오답을 선택할 수 있다는 점이

다. 주어진 그래프는 시간에 따른 속도의 그래프로, 문제에서 제시한 구간에서

양의 기울기를 나타내므로, 차의 속도가 증가하였다는 단순한 결론을 내릴 수

있음에도 불구하고, 수학적 성취도가 높은 학생들은 어려운 문제로 오해하였을

가능성을 높다. 모형적합도와 변별도가 낮은 또 다른 문항은 M249Q0 1의 자동

차 운전 으로 제시된 그래프를 읽고 자동차의 최고 속도를 구하는 주관식 문항

이다. 예비검사 결과, 이 문항은 12 5명 전원이 정답인 60km/ h로 답한, 지극히

예외적인 문항이라고 할 수 있다. 이와 같이 100%의 정답율을 보인 문항이기

때문에 모형적합도와 변별도 지수가 0으로 나타났다.

과학 문항 중 모형 적합도가 낮은 문항으로 나타난 S206Q02 수영장 ,

S270Q03 자외선 복사 두 개의 문항은 모두 능력이 높은 학생이 오답을 한 경

우로 두 문항 모두 객관식 문항이다. 이렇게 문제 있다고 나타난 두 문항은 다

루는 주제는 다르나 과학적 연구 방법과 관련된 것이 공통적이다. 즉 과학 연구

의 결과로 나타난 지식을 묻는 문항이 아니라 과학적 연구 방법에 대한 것으로

실제 실험 상황을 가정하여 스스로 해결할 것을 요구한다는 점에서 우리 나라

의 과학 교육에서 많이 경험하지 못하는 부분을 묻는 문항이다. 따라서 과학 성

취도가 높은 학생도 쉽게 답할 수 없는 문항으로 나타났다고 추측된다.

- 110 -

<표 VI-1> 모형적합도와 변별도가 낮은 문항

영 역 문항 고유번 호 및 과제제 목 모형적 합도 변별 도 문항 형태

읽기

R067Q04 이솝우화 1.39 0.18 주

R086Q06 만약에 1.23 - 0.08 객

R091Q02 모어랜드 1.24 - 0.02 객

R119Q10 선물 1.30 - 0.03 주

R219Q01 고용지원서 1.71 0.35 주

R228Q03 교환학생을 위한 안내 1.26 - 0.01 객

R240Q01 진통제 1.44 - 0.16 주

수학M159Q03 경주용차의 속도 1.44 0.14 객

M249Q01 자동차운전 0.00 0.00 주

과학S206Q02 수영장 1.34 0.02 O/ X

S270Q03 자외선 복사 1.34 - 0.01 Y/ N

* 문항고유번호의 첫글자 R은 읽기, M은 수학, S는 과학을 각기 나타냄

문항의 편파성을 점검하기 위해 앞에서 설명한 D값을 참조하였다. D의 절대

값이 1.96을 넘는 문항, 즉 통계적으로 유의미한 차별적 기능을 갖는 문항은 총

40개로, 그 중 읽기가 25문항, 수학이 4문항, 과학이 9문항, 그리고 통합이 2문

이었다. <표 VI-2 >의 내용을 보면 모형 적합도의 경우와 마찬가지로 문항의 형

태에 따라 차별적 기능을 하는 패턴은 볼 수 없었다. d 1-d2의 수치가 양수인

경우는 남학생에게 더 어려웠던 문제였고, 음수인 경우에는 여학생에게 더 어려

웠던 문제였다. 남녀차별기능에 있어서 영역별로도 논리적으로 설명할 수 있는

양상이 나타나지 않았다. 읽기 영역의 경우, 남학생에게 더 어려웠던 문항이 전

체 2 5개 중 14개이며, 수학과 과학의 경우에 있어서도 남학생에게 더 어려웠던

문항이 전체 13개 중 8개였다. 일반적으로 수학과 과학은 남성적인 제재가 많

아 여학생을 상대적으로 차별할 가능성이 더 높은 것으로 알려지고 있다. 그러

나 예비검사에 나타난 우리 나라 학생들의 자료는 수학과 과학이 남학생에게

- 111 -

유리한 교과라는 일반적인 통념과 다른 결과를 보여주고 있다. 예비검사 결과에

비추어볼 때 성차별적인 요소가 있는 것으로 판정된 수학 문항은 검사지 7에

포함되어 있는 4개의 문항으로, 문항 내용과 관련하여 그 결과를 해석해 보면

다음과 같다. 우선 남학생의 성취도가 현저하게 높은 것으로 나타난 지도 과제

를 해결하기 위해서는 주어진 지도의 축적을 이용하여 지도상에 나타난 특정

지역의 넓이를 어림해보는 능력을 필요로 한다. 따라서 수학의 여러 내용 영역

중에는 측정 의 아이디어를 요구하는 문항이라고 할 수 있으며, 기하적인 능력

과도 부분적으로 연결되어 있다.

수학에 있어서의 성 차이에 대한 연구들은 남녀의 수학적 능력과 성취도의

차이를 여러 관점에서 설명하고 있으며, 이 중 설득력 있는 설명 중의 하나는

좌뇌, 우뇌의 발달 정도에 대한 차이로 보는 생물적인 관점이다. 일반적으로 볼

때, 여성에게는 좌뇌가, 남성에게는 우뇌가 상대적으로 더욱 발달되어 있으며,

기하적 능력은 주로 우뇌가 관장하기 때문에, 남학생의 기하적 능력이 더 높다

는 점이다. 이러한 점에 비추어볼 때, 측정이나 기하적 사고를 요구하는 지도

과제에서 남학생의 성취도가 높은 것은 당연한 귀결이라고 할 수 있다.

한편 여학생의 성취도가 남학생에 비해 상당히 높은 것으로 나타난 문항은

검사지 7의 걸음 과제와 제동 과제에 포함되어 있다. 이 두 문제는 주어진 공

식이나 이미 학생들이 숙지하고 있는 속력, 시간, 거리의 관계식에 수를 대입하

여 답을 구하는 문제로, 주로 대수적인 사고를 필요로 한다. 수학적 능력과 성

취도에 있어서의 성 차이에 대한 연구들은 남성에 비해 여성에게 좌뇌가 더 발

달되어 있다는 사실에 비추어 여성은 대수적인 사고에 유리하다는 점을 설명하

고 있다. 특히 여학생들은 고등사고능력이 요구되는 문항보다는 공식이나 관계

식에 대입하는 정해진 절차를 오류 없이 수행하는 데 익숙하다는 점에서도 이

두 문항에서 여학생들이 보인 높은 성취 수준을 설명할 수 있을 것이다.

- 112 -

<표 VI-2 > 남녀차별문항 분석

검 사 지

번 호문 항 고 유 번 호 및 과 제 제 목

Adju s te d D e l ta 차 이문 항

형 태남 (d 1 ) 여 (d 2 ) d 1-d 2표 준

d 1 -d 2

1R120K07 Argument -0.45 0.28 -0.74 -2.31 Y/ NI043Q09 Corn 0.39 1.08 -0.69 -2.44 객

I043Q13 Corn 0.67 1.25 -0.58 -3.09 주

2R102K02 Shirt -0 .09 -1.09 1.00 3.10 Y/ NS253Q03 Ozone 0.51 1.46 -0.95 -2.11 객

3

R055Q0 1 Drugged Spider s -0.38 -1.65 1.27 2.05 객

R2 16Q03 Anouilh 1.30 0.85 0.46 1.93 주

R220Q06 Polesud -0.74 0.30 -1.04 -2.25 객

R22 1Q02 Reverie 2.86 1.66 1.21 2.82 주

R228Q06 Guide -0.20 -1.39 1.20 2.10 객

4R119Q07 Gift 1.54 0.57 0.97 3.79 주

R119K09 Gift -0.06 -0.86 0.80 2.22 주

R226Q07 Nefissa -0.11 -1.29 1.18 2.15 주

5

R075Q0 1 Energy 1.46 0.56 0.89 2.32 객

R075Q02 Energy 0.83 1.70 -0.87 -2.23 객

R075Q03 Energy -1.13 -0.12 -1.0 1 -1.95 객

R103Q04 Sphinx 0.01 0.96 -0.95 -2.39 객

R103Q07 Sphinx 0.35 -0.49 0.84 1.94 객

R239Q02 Allergies -2.59 -0.39 -2.2 1 -2.77 주

R243Q04 Child Seat 0.82 -0.70 1.52 3.47 주

6

R086Q02 If -1.4 1 -0.27 -1.14 -2.07 객

R086Q07 If 0.49 -0.48 0.97 2.25 주

R091K04 Moreland -1.10 0.34 -1.44 -2.98 O/ XR107K0 1 Warranty 0.56 0.95 -0.39 -2.05 주

R236Q02 New Rules 2.43 1.47 0.96 2.35 주

7

M124Q02 Walking 1.03 0.13 0.90 2.22 주

M152Q01 Map 1.27 1.91 -0.63 -1.93 객

M155Q02 Pop Pyramid -0.24 -1.11 0.88 2.13 주

M2 15K04 Breaking 0.41 -0.44 0.85 2.00 주

8

S114Q04 Greenhouse 0.66 0.06 0.60 2.29 주

S126Q04 Biodiver -1.56 0.16 -1.72 -3.68 객

S128K03 Cloning 1.14 0.32 0.82 2.14 O/ XS133Q05 Research 0.08 -0.82 0.90 2.12 주

S134Q03 Toxic Waste 0.11 -0.75 0.86 2.94 주

S195Q06 SemmelWeis -1.56 -0.08 -1.48 -3.13 객

S258Q0 1 Gases -2.44 -0.72 -1.73 -2.93 객

S270Q05 UV Radiatio -0.18 -1.14 0.96 2.08 객

9R083Q05 Houseage 1.83 0.95 0.88 2.25 객

R094Q0 1 Old People 0.26 1.17 -0.9 1 -2.44 객

R104Q06 Telephone -1.94 -0.82 -1.12 -1.96 주

* 문항고유번호의 첫글자 R은 읽기 , M은 수학 , S는 과학을 각기 나타냄 .

- 113 -

2 . 전문가에 의한 검토

예비검사는 문항의 질을 점검하는데 그 목적이 있는 만큼, 경험적 자료에 의

한 정량적 분석도 중요하지만, 교과에 대한 지식 뿐 아니라, 그 나라의 문화와

교육적 맥락을 잘 이해하고 있는 교육 전문가의 정성적 분석도 문항의 질을 점

검하는데 없어서는 안될 중요한 절차이다. 이 절에서는 읽기, 수학, 과학 영역의

교과전문가들이 문항과 채점기준의 적합성을 검토한 결과를 기술하고자 한다.

가 . 예비 검사 문항 의 검 토 준 거

OE CD/ P ISA는 예비검사 결과 보고서를 참여국에 송부함과 동시에 예비검사

에 사용되었던 문항이 각 참여국 학생들의 성취수준을 평가하기에 적합한 문항

인지에 대한 참여국의 검토 의견을 요청하였다. OE CD/ P ISA 문항의 적절성을

검토하기 위해 국내 교과전문가들에게 검토를 요청하였다. 전문가 검토는 읽기,

수학, 과학 모두 OE CD/ P ISA가 제공한 기준을 토대로 한국적 상황에 맞게 재

구성한 다음 기준에 의거하여 이루어졌다. 문항 검토 기준의 내용은 <표 VI-3>

과 같다.

<표 VI-3> 문항검토의 기준

만 15세 학생 에 대한 평가 로서의 적 절성 여부

현행 중, 고등학교 교육과정에 본문 및 문항 내용이 포함되었는지를 살펴본다.문항의 내용이 만 15세 학생의 인지 수준에 적절한지를 검토한다.만 15세 학생들이 관심을 가질 만한 주제인지를 검토한다.

문화 적 편파성 등 과 같이 나라 및 문 화권에 민 감한 문제 소 지여부

본문 및 문항 내용에 개입된 문화적 편파성의 유, 무에 대해 검토한다.본문 및 문항 내용에 남녀 차별적 소지가 없는지를 점검한다.그 외 다른 편파성의 유, 무에 대해 검토한다.

기타 다 른 기술적 문 제들

본문 및 문항 번역 과정에서 발생할 수 있는 오류에 대해 원문과 번역문을

대조하여 검토한다.문항 출제 의도에 대해 전문가의 안목으로 자세히 검토한다.제시된 채점 기준표를 실제 답안과 비교·검토하고, 문제점을 기술한다.

- 114 -

<표 VI-3>에서 제시된 기준을 바탕으로 문항검토를 실시하였는데, 만 15세

학생에 대한 평가로서의 적절성 여부는 1-4점 척도를 이용하여 매우 적절할 경

우에는 4 로, 적절하지 않은 경우에는 1 로 평정하도록 하였다. 문화적 편파성,

남녀 차별적 소지의 여부를 비롯한 민감한 문제에 대한 사항은 유무를 살펴보

아 해당사항을 Y/ N으로 표기하였고, 다른 기술적 문제들은 번역 오류, 문항 출

제 의도, 채점 기준 등과 같은 제시된 사항들을 중심으로 검토하여 문제점을 지

적하였다. 맨오른쪽의 문항 포함 우선 순위 항목은 해당 지문이나 문항이 본검

사에 포함시키는데 있어서의 우선 순위를 어느 정도로 할 것인가를 각국의 입

장에서 판단하여 1-4점 척도로 표기하도록 한 것이다. 1 은 본검사에 포함시키

지 말 것, 그리고 4 는 반드시 포함시킬 것을 의미한다(표 VI-4 참조). 다음 절

에서는 교과전문가들의 검토 의견을 영역별로 자세히 기술하고자 한다.

<표 VI-4 > OE CD/ P ISA 읽기 문항 검토 양식 예시

15세 학 생 에 대 한

평 가 로 서 의 적 절 성민 감 한 문 제 들 (편 파 성 ) 기 술 적 문 제 들

문 항

포 함

우 선

순 위

지 문 /문 항

교육

과정

포함

여부

내용

친숙 도

흥미 도 문 화 남녀

평등

기 타 편파 성

에

대 한

의 견

번 역

문 제

질문

의 도의

문제

채점

기준

영화표 1-4 1-4 1-4 Y/ N Y/ N Y/ N 1-4

1

나 . 읽기 영역

읽기 영역의 검토는 문항의 내용과 형식에 대한 검토와 채점 기준에 대한 검

토로 나누어 실시되었다. 이에 따라 검토 의견도 문항과 채점 기준으로 나누어

정리하였다.

1 ) 문항검 토

읽기 문항에 대한 검토는 몇 차례로 나누어 진행되었다. 먼저 만 15세 학생

들을 직접 가르치는 고등학교 국어와 영어 담당 교사들에 의해 기초적인 검토

가 이루어 졌다. 그리고 이를 바탕으로 하여 국어 교육 전문가들에 의해 개별

- 115 -

문항들이 폭넓고 깊이 있게 다루어 졌으며, 최종적으로 국어교육 전문가와 연구

진과의 협의 과정을 거쳐 읽기 문항에 대한 검토가 진행되었다.

국어, 영어 담당 교사들에 의한 읽기 문항 검토는 본문과 문항으로 구분되어

이루어 졌다. 본문에 대한 검토 준거 및 항목은 문화적 편파성, 내용의 친숙도,

수준의 적합성이었으며, 문항의 검토 준거는 학교에서의 학습 여부, 학교 밖에

서의 학습 여부, 형식의 친숙도를 중심으로 이루어 졌다. 그리고 채점 기준에

대한 검토는 문항과의 적합성 여부를 살펴보고 이에 따른 문제점을 기술하였다.

고등학교 국어, 영어 담당 교사들이 문화적 편파성, 내용의 친숙도, 수준의 적

합성을 중심으로 본문을 검토한 결과, 우리 나라 학생들이 문제를 이해하는데

크게 어려움을 겪었던 문제는 없었던 것으로 파악하였다. 그리고 개별 문항에

대한 검토 결과에 의하면, OE CD/ P ISA 읽기 문항은 우리 나라 학생들의 경우

상당 부분 학교에서 학습한 내용을 토대로 풀 수 있는 문항들로 보고되었다.

문항에 대한 2차 검토는 국어 교육 전문가와 연구진에 의해 수행되었다. 2차

문항 검토를 위한 전문가 협의회에서는 적지 않은 문항들이 일부에서 문제점을

지니고 있는 것으로 파악되었으며, 이에 따라 적합한 판단과 적절한 보완이 필

요할 것으로 예상되었다.

앞 절에서 제시한 OE CD/ P ISA 읽기 문항 검토 양식에 따른 문항 검토 결과

를 정리하면 다음과 같다. 먼저 만 15세 학생에 대한 평가로서의 적절성은 교

육과정 포함 여부, 내용 친숙도, 흥미도를 중심으로 검토되었다. 예외적인 경우

가 있지만, 교육과정 포함 여부, 내용 친숙도, 흥미도 각 항목은 평정 척도를 기

준으로 보면 어느 정도 상호 관련성이 나타났다. 또한 만 15세 학생에 대한 평

가로서의 적절성은 문항 포함 우선 순위와도 비교적 상관 정도가 높은 것으로

보고되었다. 다시 말하면, 교육과정에 포함되어 있지 않는 본문이나 문항은 내

용 친숙도, 흥미도가 비교적 낮고, 반대로 교육과정에 포함되어 있는 문항이나

본문의 경우에는 내용 친숙도 및 흥미도가 어느 정도 높게 나타났다.

이러한 검토 결과는 문항 포함 우선 순위에 적지 않은 영향을 주었다. 예를 들

면, 검사지 4 철도 의 본문과 개별 문항은 교육과정 포함 여부에서 모두 4 를 받았

는데 내용 친숙도 및 흥미도 또한 대체로 4와 3을 받았다. 그리고 문항 포함 우선

순위에서도 모두 4로 나타났다. 이와는 달리 검사지 4 국제 프로그램의 본문과 개

별 문항은 대체로 교육과정 포함 여부에서 1 또는 2를 받았는데, 내용 친숙도와

흥미도 또한 1∼2의 범주를 벗어나지 않았다. 그리고 문항 포함 우선 순위 또한

- 116 -

한 두 문항을 제외하곤 매우 낮은 평정을 받은 것으로 보고되었다.

그런데 검사지 3 선물 의 경우 본문은 15세 학생에 대한 평가로서의 적절성

과 문항 포함 우선 순위에서 모두 1을 받았는데, 5개의 개별 문항들은 이와는

달리 15세 학생에 대한 평가로서의 적절성 부분에서 2∼4를 받았고, 문항 포함

우선 순위 또한 4를 받은 문항이 많았다. 선물 의 본문은 그 지문의 양과 문장

의 서술 방식(묘사)이 우리 나라 학생들에게 익숙하지 않은 유형이지만, 개별

문항들이 지닌 문제 유형과 교육적 의의는 비교적 우수한 평정을 받았기 때문

에 그런 결과가 나온 것이라고 생각된다.

15세 학생에 대한 평가로서의 적절성, 특히 교육과정 포함 여부를 준거로 한

검토에서 우리의 주목을 요하는 부분이 있다. 본문 종류와 교육과정 포함 여부

와의 상관성이 바로 그것이다. 앞장에서 논의되었지만, OE CD/ P ISA 읽기 문항

중에서 산문과 비산문이 차지하는 비율은 각각 66%와 34%이다. 산문의 종류는

이야기, 설명문, 서술문, 논설문, 훈계/ 명령문으로 구분된다. 그리고 비산문에는

챠트/ 그래프, 표, 개략도, 지도, 신청서, 광고 등이 포함되어 있다. 교육과정 포

함 여부에서 비교적 낮은 평정(1, 2)를 받은 본문의 제목, 본문 종류, 교육과정

포함 여부를 읽기 문항의 산문, 비산문 종류별 비율을 참고하여 정리하면 <표

VI-5>와 같다.

<표 VI-5>에서 알 수 있듯이 교육과정 포함 여부에서 비교적 낮은 평정을 받은

본문의 종류는 챠트와 그래프, 표, 지도, 신청서나 지원서, 광고문 , 주문서, 안내

서, 보고서 등임을 알 수 있다. 이런 유형의 글은 우리 나라 국어 교과서 본문에

소개되지 않는 글이다. 따라서 학생들에게는 매우 낯선 유형의 글인 것이다.

형식 속에 담긴 글의 내용 또한 우리 나라 학생들에게는 매우 생소한 것이

많았다. 예를 들면, 요리와 스크램블은 사과 크림스프와 달걀 조리법을 설명한

글인데, 조리법 내지 요리법은 우리 나라 국어 교육과정에서 찾아보기 어려운

제재며, 실제로 한국의 만 15세 학생들은 요리를 할 기회가 많지 않다.

고용지원서, 복사, 저스트 문구점 등은 실제 생활에서 발생할 수 있는 상황을

가정하고 주어진 상황이나 조건에 알맞은 내용을 기입하는 것인데, 이런 내용

또한 한국 학생들이 경험할 수 있는 기회가 매우 적다고 볼 수 있다. 물건의 영

수증이나 보증서, 사용상의 주의 사항 등의 내용을 기술한 H OTP OIN T 보증서,

진통제, 자전거, 보증서 등의 글 또한 그 내용이나 유형에 있어서 우리나라 국

어 교육과정에 소개되지 않았던 글이라고 할 수 있다.

- 117 -

<표 VI-5> 검사지 문항의 본문 종류와 국내 교육과정 포함 여부

본문 제목 본문 종류

교육과정

포함 여부

(1∼4)본문 제목 본문 종류

교육과정

포함 여부

(1∼4)

영화표 광고문 , 표 2어린이 안전탑승 수칙

설명문 , 그림 설명

(팜플렛)2

요리설명문(사과크림스프

요리법 설명)2 영화 평론 평론(신문영화평론) 1

셔츠 설명문 , 챠트(표제시) 1고용주와의

접촉안내문

(고용관련팜플렛)2

경찰 설명문 (잡지에 실린글) 2 진통제광고문 , 설명문

(약복용시 주의사항)1

고용지원서챠트 ,

신청서(식당지원양식)2

유엔 어린이국제 기구

광고문 1

선물서술문 (소설 ,

묘사중심)1

화재 안전에대한 조언

기사문 2

남극 설명 , 지도 , 표 2 인사 관리 안내문 2레버리

수영장

광고 , 표(수영장

안내광고)2 임페이시언스 설명문(식물재배법) 2

울마크 설명 , 그림 (디자인 책) 2 취업인터뷰 설명문 (채용안내책자) 2노동 수형도 , 개략도 2 자전거 설명문(자전거 설명문) 1

초콜릿 편지(호주신문인용) 2 감기 알림장 , 설명문 2

비행시간표챠트 ,

표 (비행안내책자)1 교환 학생 설명문 (교환학생설명) 2

국제프로그램챠트 , 표 ,

보고서 (보고서의 일부)2 보증서 챠트 , 표 (영수증) 1

챠드호의

동물챠트 , 표 , 지도 1 모어랜드

챠트 , 표 ,

안내도(도서관 안내도)1

통신사 표 (통신사 표) 1 만약에광고문 ,

사진 (잡지광고문)2

선물 서술문 (소설 , 묘사문) 1 아이언서술문 (인물 묘사 ,

잡지기사)2

남극 대륙 지도 1 집안일챠트 , 설문

내용(설문조사내용)1

원자력 표 , 그림(신문기사) 2 복사챠트 , 표 ,

신청서(전자메일)1

거리 표 1 육상 선수과학보고서

(연구보고서)2

에너지광고 , 안내문

(냉장고 부착물)1 어린이 구조

설명문 (어린이 응급

조치책에서 인용)2

스크램불 설명문(달걀 조리법) 2 빛나는 물체 과학 동화 , 이야기 2

H OTP OINT보증서

챠트 , 표

(냉장고 보증서)1

저스트

문구점

챠트 , 표 , 주문서

(상품목록 , 주문서)1

마라톤 기사문 (신문기사문) 2 전화표(국제전화 사용법에

관한 표)1

- 118 -

한편 설명문은 비교적 우리 나라 학생들에게 익숙한 유형의 글이라고 할 수

있지만, 셔츠 고르는 법, 요리 설명법, 그림 설명, 식물 재배법, 취업 설명 등

그 내용에 있어서 한국 학생들의 실생활과는 거리가 있거나, 매우 특수한 환경

조건하에서나 체험이 가능한 제재로 여겨진다.

소설문의 대표적인 본문이라 할 수 있는 선물의 경우 우리 나라 국어 교육과

정에 소설 장르를 학년별로 다루고 있어 낯설지는 않지만, 문제로 제시된 지문

의 양이 많고 서술 방식 또한 묘사로 일관되어 섬세한 문학적 감수성이 있는

학생을 제외하고는 집중하여 읽어 나가기가 어려운 지문이라고 생각된다. 또한

70여개의 문제를 120분이라는 제한된 시간에 응답해야 하는 상황에서 2∼3장

에 달하는 지문을 집중해서 읽기란 쉽지 않다. 이 외에도 비행시간표, 통신사,

교환 학생, 국제전화 등은 우리 나라 학생들이 체험할 수 있는 기회가 매우 제

한적이라는 점에서 어려움이 예상된다.

읽기 문항 검토에서 주목을 요하는 또 하나의 문제는 문화 적 편 파성 이다.

상대주의적 문화 관점에서는 각 문화가 지닌 특수성과 개별성이 오히려 한 문

화를 세계 문화 속에서 부분으로 존재하게끔 하는 배경이 되지만, 여기서의 문

화적 편파성이란 학생들이 본문을 이해하고, 문항을 해결하는데 장애가 되는 문

화적 배경이나 요소를 지칭한다고 보아야 할 것이다. 읽기 문항에서 국어 교육

전문가와 연구진에 의해 문화적 편파성이 있다고 검토된 문항과 그 내용은 <표

VI-6 >와 같다.

표에서 검토된 읽기 본문과 문항들은 동양권 학생들에게 교육과정 측면에서

학습하지 못한 제재들이고, 현실 생활에서도 경험하지 못한 내용들이라는 공통

점을 지니고 있다. 그 배경에는 서양과 동양이라는 문화적 차이가 개재되어 있

다고 볼 수 있다. 특히 한국적 맥락에서는 경험하기 어려운, 서양적 실생활과

연관된 내용을 국어 지식과 연결해야 하는 부분은 한국 학생들이 문제를 해결

하는 과정에서 적지 않은 어려움을 겪을 것으로 파악된다.

주지하는 바와 같이 OE CD/ P ISA의 모집단은 교육 및 직업 훈련 기관에 재학

중인 만 15세 학생이며, OE CD/ P ISA는 학교 및 직업 교육 기관이 학생들을 생

산적인 사회 구성원의 역할을 담당하기 위한 준비를 얼마나 잘 시키고 있는지

를 알아보려는 연구의 성격을 지니고 있다.

- 119 -

<표 VI-6 > 읽기 문항의 문화적 편파성에 대한 전문가 의견

검사 지 본문 제목 문화 적 편파성 에 대한 전문 가 의견

2 요리 한국 학생(특히 남학생)들은 요리에 익숙하지 못함.

3

아누이

연극 대본의 형식이 한국의 국어 교과서에서 제시된 대본의

형식과 다르기 때문에 학생들이 대본의 내용을 이해하는데

많은 어려움이 있을 것으로 예상됨. 문항의 형태 또한 한국

학생들에게 익숙하지 않음.

고용지원서직업을 구하거나 구직 양식을 작성하는 것은 한국의 15세

학생들에게 일반적이지 못함.

선물묘사문 중심의 소설은 우리 나라 국어 교육과정에서 드물게

다루어 지는 제재임.

레버리 수영장 요금 단위인 Dollar "가 한국 학생들에게 익숙치 않음.

울마크본문이해 및 문항반응에 절대적 역할을 하는 상표가 한국

학생들에게 인지도가 낮거나 거의 없는 것임.

4 통신사알파벹 약호는 영어를 제1언어로 사용하지 않는 학생들에게

는 익숙치 못함.

5

낙서공공건물의 기둥이나 벽에 그림이나 기호를 그리는 것은 한국

학생들이 일반적으로 할 수 있는 행동은 아님.

안경사안경사의 자격요건 및 훈련과정이 나라마다 달라서 해당 본

문의 나라의 안경사의 특성을 제대로 이해하기가 어려움.

스크램블요리는 한국 학생들에게 친숙한 제재가 아니고, 특히 달걀

스크램블은 서양 음식임.

어린이 탑승

안전 수칙본문이 너무 길고, 그 내용이 몇 나라에서는 적용하기 어려움.

고용주와의 접촉 만15세 한국 학생들에게 일반적인 경우가 아님.

6

교환 학생교환 학생은 외국 학생들만큼 한국 학생들에게 기회가 많이

주어지지 못함.

보증서보증서에 내용을 기입하여 등록하는 것이 한국에서는 일반

적인 소비자 행동이 아님

모어랜드 본문에 제시된 내용이 한국 학생들에게 익숙치 못함.

아웃브레이크 영화(서양 영화)를 본 특정 학생(특히 서양)에게 유리함.

만약에

본문에 제시된 광고 카피는 매우 은유적으로 표현되어 있어

상표를 인지하지 못하는 학생은 글의 의도나 내용을 제대로

파악하기 어려움. Har ly-David Mot or cycle은 서양에서는 매

우 친숙한 브랜드인데 반해 한국에서는 전혀 소개되지 않은

상표임.

9복사

전자 우편에 관한 제재는 대부분의 만15세 한국 학생들에게

익숙치 못함.

전화 한국 학생들은 국제 전화를 경험할 수 있는 기회가 적음.

- 120 -

학생들이 사회로 진출하는 연령은 각 국의 학제에 따라 차이가 있으나 대다

수의 OE CD 회원국가들의 의무교육 종료 시점은 15세인 것으로 파악되었다.

그런데 우리 나라의 경우 만 15세는 대체로 고등학교 1학년과 2학년 학생에 집

중되어 있다. 이에 따라 우리 나라의 만 15세는 OE CD 회원국 학생들과는 달

리 아직 학교에서 학업을 계속해야 할 연령인 것이다. 이와 같은 학제의 차이

때문에 한국 학생들은 사회에서 생산적인 역할을 할 수 있는 기회가 상대적으

로 적다고 볼 수 있으며, 현실 생활 속에서 발생할 수 있는 상황을 전제로 한

본문 및 개별 문항에 대해서는 상당한 곤란을 겪을 가능성이 있거나, 서양 학생

들에 비해 상대적으로 낮은 성취수준을 보일 평가될 가능성이 있다.

2 ) 채점기 준

읽기 문항 채점 기준에서 문제가 되는 것은 채점 기준으로서의 타당성 및 신

뢰성이다. 채점 기준에 대한 국어 교육 전문가와 연구진의 검토를 통하여 제기

된 문제는 다음과 같다.

읽기 채점 기준의 문제점에서 본문 및 문항의 번역 및 번안에 따른 문제를

우선적으로 지적할 수 있다. 본문의 내용과 채점 기준에서 제시된 본문의 내용

이 동일해야 함에도 불구하고 단어나 어구의 뉘앙스의 차이가 있는 경우가 있

었는데 이는 읽기 문항의 양이 방대하여, 문항 번역 및 채점 기준 자료 번역을

동일한 사람이 하지 않은 결과로 일치하지 않은 번역이 있는 것으로 판단된다.

각 코드 사이의 경계가 모호한 점 또한 채점 기준의 문제점으로 지적될 수

있다. 진위형 문제인 경우는 이런 문제가 없지만 서술형 문항이 위계적인 경우

특히 이런 문제가 채점의 어려움을 가중시켰다. 채점 기준 작성 시 경계가 모호

한 코드는 통합하여 제시하는 것이 필요하다. 그리고 코드와 코드의 한 중간에

해당하는 답안(양쪽 코드가 제시하는 두 가지 기준 중 하나의 기준을 각각 만족

시키는 답안)에 대한 명확한 기준이 있어야 할 것 같다. 또한 각 코드에 해당하

는 답안의 내용을 단순히 나열하기보다는, 채점 기준이 된 핵심 준거를 기술해

준다면 채점자 사이의 주관적 해석에 따른 오류가 줄어들 것 같다.

가능한 답안의 예시 또한 채점 기준의 문제점으로 지적될 수 있다. 예시로 든

답안이 너무 추상적인 경우, 본문에서 추론이 어려운 경우, 문항이 요구하는 내

용과 서로 다른 경우 등 채점 기준의 타당성과 객관성을 보지하지 못하는 것들

- 12 1 -

이 있다. 그리고 읽기 문항의 채점 기준은 구체적이고 다양한 채점 코드를 설정

하였으나, 문항에 따라서는 코드에 누락된 경우가 있었는데 예비 검사 문항에

대한 학생들의 개별 답안을 참고하여 보충할 필요가 있다. 또한 OE CD 회원국

간 문화적, 언어적 차이를 고려하여 보다 일반화된 채점 기준 개발이 요구된다.

읽기 문항의 채점 기준에 대한 구체적인 문제점과 개선을 위한 제안은 <부록

5>에 상세히 기록되어 있다.

다 . 수학

수학 영역의 검토는 문항의 내용과 형식에 대한 검토와 채점 기준에 대한 검

토로 나누어 실시되었다. 이에 따라 검토 의견도 문항과 채점 기준으로 나누어

정리하였다.

1 ) 문 항 에 대 한 검 토

OE CD/ P ISA 수학 문항은 읽기나 과학에 비하여 본문의 상황과 맥락이 그리

풍부하지 않으므로, 문화적 편파성, 내용의 친숙도, 성별 편파성 등의 측면에서

문제가 될 가능성을 높지 않다. 그러나 수학 문항의 본문 소재를 살펴보면 다소

남성 중심적인 경향이 있음을 알 수 있다. 예를 들어 자동차 경주, 자동차 운전,

자동차 사고, 제동, 파이프관 등의 과제는 여학생들이 친숙하게 느낄 수 없는

자동차 경주, 운전, 자동차 사고의 건수, 제동을 거는 데 필요한 시간과 거리,

파이프의 배관에 대한 문제 상황을 포함하고 있다. 물론 최근에는 남녀가 수행

하는 역할이나 관심사에 있어 성별 차이가 거의 존재하지 않기는 하지만, 자동

차 경주나 운전과 관련된 것들은 여전히 남성 중심적인 소재라고 할 수 있으므

로, 성차별적인 요소가 없다고 보기는 어렵다.

문화적 편파성이 우려되는 과제도 있다. 피자 과제의 경우, 현재 피자가 전

세계의 거의 모든 학생들에게 친숙한 음식이며, 우리 나라에서도 대중적인 음식

으로 간주될 수 있기는 하지만 반드시 그러한 것은 아니다. 우리 나라의 도시

학생들에게는 친숙한 음식이지만, 농어촌 지역 학생들은 그렇지 못한 경우도 있

기 때문이다. 대부분의 OE CD 국가 내의 학생들에게는 피자가 지극히 익숙한

음식이기 때문에 지역에 상관없이 피자라는 소재를 문제 상황에 포함시킬 수

- 122 -

있으나, 우리 나라의 경우 학교가 소재하고 있는 지역에 따라 학생들이 피자라

는 소재에서 문화적인 이질감을 느낄 수 있으므로, 문화적 편파성의 소지가 있

는 문항이라고 할 수 있다.

한편 피자 과제에서는 특정 국가에 치우치지 않고 중립성을 유지하기 위하

여 가상의 단위 zed 를 설정하였으나, 검사지를 만들 때에는 각 국에서 보편적

으로 사용하는 단위로 고치는 것이 바람직할 것이다. 피자의 가격을 설정할 때

에는 원 문제에서 요구되는 계산의 복잡성을 가능한 한 동일하게 유지하되, 현

실적인 피자의 가격에 부합되도록 조절하는 것이 필요하다.

문항을 학교에서의 학습 여부, 학교 밖에서의 학습 여부, 형식의 친숙도의 측

면에서 검토할 때, 수학 문항에서 문제시 될 부분은 거의 없다. 수학 문항에서

요구하는 수학적 개념과 지식은 거의 초등학교, 중학교에서 다루어진 내용이기

때문이다. 그러나 답에 대한 이유나 근거를 설명하는 서술형 문항은 우리 나라

학생들에게 익숙하지 않은 유형이기 때문에, 문제의 의도를 벗어난 답변을 하는

경우가 다수 있었다.

예를 들어 성장 과제에서 그래프를 보고 여성의 키의 평균 성장률이 13세

이후에 낮아지는 현상을 설명하는 문제에서 학생들은 문제의 의도를 정확하게

파악하지 못해, 수학과 무관한 생리적 이유를 답으로 제시한 경우가 많았다. 이

는 비단 문항 유형의 생소함에서 비롯된 것이 아니라 문제의 의도를 직접적으

로 드러내지 않고 모호하게 진술한 점에서도 기인한다. 실제 예비검사에 응한

우리 나라의 학생 중 3.8%만이 문제가 의도하는 정확한 답을 하고 있으므로,

문제의 의도가 제대로 전달되었다고 볼 수 없다.

성장 과제의 문항 번역은 영어로 된 진술을 첨삭없이 직역한 것으로, 본 검

사에서는 문항이 의도하는 바가 좀 더 구체적으로 드러나도록 영어의 문항 자

체를 재진술하거나, 영어 문항이 그대로라면 우리 나라에서 번역할 때 의역하여

문항의 의도가 직접적으로 드러날 수 있도록 각색하는 것이 필요하다. 즉 이 문

제의 의도대로 변화율의 개념을 묻고자 한다면, 여성의 키의 평균 성장률이 13

세 이후에 낮아지는 현상이 그래프에 어떻게 나타나 있는지 수학적으로 설명하

시오 와 같이 문제가 의도하는 바를 명료화하는 것이 필요할 것이다.

대륙의 넓이 과제에서 지도의 축척을 사용하여 남극 대륙의 넓이의 근사값을

구하도록 요구하고 있다. 이 문항은 만 15세 학생들에게 지나치게 어렵고 계산 과

- 123 -

정이 복잡한 경향이 있다. 이 문항에 대해 응답한 학생 자체가 소수였으며, 응답을

한 경우에도 방법은 대개 맞았으나 답을 정확하게 한 경우는 거의 없었다.

동전 과제가 요구하는 것은 주어진 세 가지의 조건을 만족시키는 동전 세트

를 만들고 동전의 지름인 15, 20, 26, 34, 45m m 를 구하는 것으로, 학생들의 이

해를 돕기 위하여 문제에 세 가지 크기의 원이 제시되어 있다. 그런데 학생들은

제시되어 있는 세 개의 원에 입각하여 세 개의 동전만을 만들라는 것으로 문제

의 의도를 파악하는 경우가 많았다. 따라서 세 개의 원 다음에 … 를 표시하여

세 개의 동전으로 한정되는 것이 아님을 명시할 필요가 있다.

갈릴레오 과제의 첫 번째 문제는 그래프를 이용하여 1.75초 후의 쇠 공의

속도를 근사값으로 구하도록 되어 있다. 문항에서 굳이 근사값 으로 구하라고

한 이유는 정수로 답하지 말고, 소수점 아래 한 자리인 유리수 17.5로 답하라는

의도이다. 그러나 학생들은 근사값은 17.5와 같이 간단한 수치가 아닌 보다 복

잡한 수치라고 간주하여, 문항을 어렵게 해석한 경향이 있다. 결과적으로 근사

값 으로 구하라는 표현이 학생들에게 부담 요인으로 작용하였으므로, 본검사에

서는 근사값 으로라는 표현을 삭제하는 것이 바람직할 것이다.

갈릴레오 과제의 세 번째 문제의 의도는 쇠공이 땅으로 떨어질 때 그 가속

도는 어떻게 되는지 주어진 그래프를 보고 학생들로 하여금 판단하게 하는 것

이다. 주어진 그래프가 시간-속도의 그래프이며, 시간에 따른 속도의 그래프가

직선을 이루므로 가속도는 일정하다. 이는 수학 뿐 아니라 과학에서도 빈번하게

다루는 내용으로, 학생들이 쉽게 정답을 고를 것으로 기대되었다. 그러나 검사

지 2에 응한 피험자의 4 3.3%와 검사지 7에 응한 피험자의 52 .3%에 이르는 많

은 학생들이 가속도가 아닌 속도로 간주하여 일정한 비율로 증가한다. 로 답하

였다. 따라서 가속도에 밑줄을 치거나 굵은 글씨로 표시하여 강조함으로써 혼란

을 줄이는 것이 필요하다.

지도 과제의 답은 제시되어 있는 지도를 보고 확대된 지역의 크기를 축척을

이용하여 어림함으로써 구할 수 있으므로, 만 15세의 고등학교 1, 2학년 학생들

에게는 쉬운 문제라고 할 수 있다. 그러나 예비검사에 응한 우리 나라 학생 중

이 문제에 정확하기 답을 한 비율은 검사지 1에 응한 피험자 중 3 1.6%와 검사

지 7에 응한 피험자 중 20%로 상당히 낮다. 이 문제가 의도하는 바는 지도에서

확대된 직사각형 부분의 크기를 구하는 것인데, 학생들 중 상당수는 확대된 직

- 124 -

사각형 부분 중 대륙이 차지하고 있는 영역의 크기를 구하였기 때문이다. 따라

서 발문 자체를 직사각형 부분으로 명시하여 지도에서 확대된 직사각형 모양의

지역의 크기는 얼마인가? 로 수정하는 것이 바람직할 것이다.

2 ) 채 점 기 준의 검 토

수학은 교과의 특성 상 학생들의 반응의 자유도가 그리 높지는 않지만, 수학

문제에 접근하는 방법은 상당히 다양하므로, 채점 기준에서는 가능한 모든 접근

방법을 고려하여 코드를 설정하는 것이 필요하다. OE CD/ P ISA 수학 문항은 현

장 적용을 하고, 여기서 학생들이 보인 반응을 참고하여 가능한 한 구체적이고

다양한 채점 코드를 설정하였으나, 문항에 따라서는 코드에 누락된 경우가 있

다. 따라서 예비검사에서 학생들이 보인 반응을 참고하여 코드를 신설할 필요가

있는 문항이 여러 개 있다.

또한 OE CD/ P ISA의 수학 채점 기준도 TIM S S나 TIM S S-R과 마찬가지로 두

자리의 코드를 부여하고, 십의 자리의 수를 각 문항에서의 점수와 연결시키는

것을 고려해 볼 수 있다. 현재와 같이 한 자리 수의 코드도 나름대로 의미를 갖

지만, 채점 코드가 반응의 유형과 더불어 점수에 대한 정보까지 제공하는 것이

더 바람직 할 것이다. 문항별 채점 기준 검토 및 개선 방향은 <부록 5>에 상세

히 기술되어 있다.

라 . 과학

과학 영역의 검토는 문항의 내용과 형식에 대한 검토와 채점 기준에 대한 검

토로 나누어 실시되었다. 이에 따라 검토 의견도 문항과 채점 기준으로 나누어

정리하였다.

1 ) 문항 검토

과학 문항을 검토하는 세 가지 준거 중 우선 문화적 편파성 측면에서 본다면

과학 과제의 본문은 현재의 우리 나라 문화와 동떨어진 내용은 거의 없다. 다만

가정용 세제 과제에서 나오는 라벤더 기름은 지중해산 식물인 라벤더 꽃에서

추출한 기름이며 주로 향료의 소재로 많이 쓰이는 것으로, 우리 나라 15세 학

- 125 -

생뿐 아니라 성인들에게도 익숙하지 않은 것이므로 문화적인 편파성이 있는 것

으로 지적될 수 있다.

본문 내용의 친숙도 측면에서 볼 때, 우리 나라 15세 학생 수준에서 친숙하게

접해본 내용과 그렇지 않은 내용이 비슷한 분포를 보인다. 특히, 신문 기사, 학

술 논문 등 우리 나라의 학교 평가 상황에서 자주 인용되는 내용이 아닌 것들

이 대부분이기 때문에, 우리 나라 학생들에게 친숙하지 않은 것으로 판단된다.

특히, 실생활과 연관된 내용을 과학 지식과 연결해야 하는 부분은 더욱 친숙하

지 않게 느껴질 수 있다.

구체적으로 예를 들면, 세멜웨이즈의 일기 과제에서는 세멜웨이즈라는 19세

기 의사의 일기를 인용하여 세균의 감염을 묻는 문항으로 이루어졌는데, 본문의

내용이나 형식면에서 모두 우리 학생들에게는 익숙하지 않다고 볼 수 있다. 이

밖에도 면역력이 약화된다는 내용의 파리 과제도 우리 나라 학생들에게 친숙

하지 않은 과제 중의 하나이다.

내용 수준의 적합성 측면에서 살펴보면, 우리 나라 교육과정에 제시되어 있는

내용과 제시되어 있지 않은 내용으로 구분하여 설명할 수 있다. 대부분의 본문

내용이 우리 나라 교육과정에 제시되어 있기 때문에 수준에 있어서는 큰 문제

가 없다고 할 수 있다. 청각에 관한 과제인 주파수 맞추기 나 최근 사회적으로

논란이 되는 복제 에 관한 과제인 경우, 직접적으로 우리 나라 교육과정에 제시

되어 있지는 않지만 교육과정상의 내용과 연관된 것이므로 우리 나라 학생들의

수준에 크게 벗어나지 않은 것이라고 할 수 있다.

그러나, 조력 발전 이나 유독성 폐기물 등의 과제는 대학교 이상의 수준에서

다루어지기 때문에 우리 나라 15세 학생들에게는 내용이 친숙하지 않을 뿐만

아니라 수준에 있어서도 적합하지 않는 것으로 판단된다. 전체적으로 볼 때, 과

학 과제의 수준은 우리 나라 학생들에게 적합하다고 할 수 있다.

과학 문항 중에는 우리 나라 15세 학생들이 전혀 접해보지 않은 내용의 문항

도 있는 것으로 나타났다. 이러한 경향은 특히 주파수 맞추기 , 오존 , 세멜웨이

즈의 일기 , 자외선 복사 , 파리 등의 과제에서 두드러지게 나타났다. 오존 이나

자외선 복사 등의 과제는 사회적으로도 문제가 되는 환경 오염에 관한 내용이

기는 하지만, 우리 나라 15세 학생들에게는 아직 과학적 지식 수준에서 학습하

지 않고 대부분 상식적인 수준에서 알고 있는 정도이다. 본문의 내용 수준이 적

- 126 -

합하지 않거나 친숙하지 않은 조력 발전 과 유독성 폐기물 과제에 포함된 문항

들은 본문의 내용과는 달리 학교에서나 학교 밖에서나 자주 학습되는 내용으로

구성되어 있는 것이 특징이다.

문항을 형식의 친숙도 측면에서 검토하면 대체적으로 우리 나라 학생들에게

익숙한 것으로 나타났다. 다만, 실험의 설계, 결론의 도출 등 우리 나라의 교

수·학습 과정에서 실제적으로 강조되고 있지 않는 형식의 문항은 학생들에게

문항 내용의 난이도와는 별개로 어렵게 느껴질 것으로 판단된다. 이상의 예비

검사 문항 검토 결과를 바탕으로 과학 교육 관련 전문가들이 판단한 본검사 포

함 여부에 대한 문항 포함 우선 순위 결과, 다음과 같은 경향을 보였다.

OE CD/ P ISA 본부에서 각 참여국에 본검사에 포함될 문항의 우선 순위를 요

구하는 취지는 각 참여국에서 선호하는 문항을 파악하고자 함에 있다. 과학 문

항의 경우 앞에서 언급한 바와 같이 문화적 편견이나 남녀 차별적 요소들은 거

의 나타나지 않았다. 다만, 우리 나라 과학 교육과정에 보다 관련되어 있고 15

세 학생들에게 보다 친숙하거나 흥미가 있는 내용으로 이루어진 문항과 그렇지

못한 문항들은 어느 정도 구분이 되었다. 따라서, 문항 포함 우선 순위를 결정

할 때 영향을 준 것은 바로 우리 나라 15세 학생들과의 관련성이라고 할 수 있

다. 우리의 입장에서는 과학과 교육과정에 포함되어 있거나 15세 학생들에게

친숙하거나 흥미가 있는 내용이 본검사에 포함되기를 선호하는 것으로 나타난

것이 당연하나(예: 환경 문제에 관한 온실 효과 과제, 생태계에 관한 생물 종

다양성 등), 교육과정과 관련성이 적거나 15세 학생들에게 친숙하지 않더라도

(예: 생명 복제에 관한 복제 송아지 과제, 세균에 의한 감염에 관한 세멜웨이

즈의 일기 등) 비교적 높은 선호도를 보이는 문항도 있었다. 이는 우리 나라의

교육과정이나 15세 학생들이 가지는 친숙도나 흥미와는 별도로 문항의 형식이

나 내용이 참신하여 권장할 만한 가치가 있다고 판단되는 경우에 해당되는 것

으로써 우리 나라의 현재 과학 교육 상황을 기준으로 하기보다는 바람직한 방

향을 기준으로 판단한 것이라 할 수 있다.

전체적으로 과학 문항은 우리 나라 학생들에게 특별히 불리하다고 여겨지는 문

화적, 성적 편견이 거의 나타나지 않다는 것에 연구진이나 전문가들이 동의하 바

있다. 따라서 우리 나라 학생들의 입장을 대변하기보다는 문항의 내용이나 형식면

에서 최근 과학 교육의 지향점을 이상적으로 반영한 문항에 높은 점수를 주었다.

- 127 -

2 ) 채점기 준

과학 주관식 문항의 채점 기준은 크게 4가지 코드로 분류하여 제시된다. 의도

하는 답을 올바르게 쓴 정답의 경우에는 코드 1이나 코드 2가 주어진다. 구체

적으로 코드 2의 채점 기준을 가진 문항은 둘 이상의 다양한 답 또는 설명이

기대되는 것으로 이런 문항에는 반드시 코드 1의 채점 기준도 있는데 코드 2에

서 요구하는 둘 이상의 답을 만족하지 못하고 하나만을 올바르게 답했을 경우

가 바로 코드 1의 채점 기준 내용이 된다. 코드 1이나 코드 2의 채점 기준은

각 문항별로 구체적으로 제시되어 있다.

오답으로 처리되는 코드는 3종류가 있는데, 코드 0 , 코드 8, 코드 9 등이다.

코드 0은 코드 1이나 코드 2에서 원하는 답이 아닌 문항의 의도와 관계 없는

답인 경우에 주어진다. 또한, 모르겠다 나 너무 어렵다 등의 답안도 코드 0

으로 처리된다. 과학의 경우 모든 주관식 문항의 채점 기준에서 코드 0의 내용

은 기타(Ot h er )"로 나타나 있다.

학생들이 문항을 푸는 것을 명백히 거부한 경우에는 코드 8이 주어진다. 구체

적으로 예를 들면, 이것은 말도 안 되는 문항이다. 이 문항은 나를 짜증나게

만든다. 등을 쓴 경우나 가수나 영화 배우의 이름 등을 써 문항과는 전혀 상관

없는 것을 쓴 경우이다. 한편, 문항을 풀려는 의도가 전혀 발견되지 않고 공란

으로 남겨둔 경우이거나, 시간이 없어서 못 풀었다. 는 내용을 써 놓은 경우는

모두 코드 9를 준다.

과학 주관식 채점 기준은 대체적으로 무난하게 개발되었다고 생각되어지나,

본검사에서 심각하게 재고되어야 할 기준들도 눈에 띄었다. 과학 주관식 채점

기준들을 문제점별로 구분하면 첫째, 정답자가 거의 없는 경우와 둘째, 문항의

의도와 채점 기준이 잘 들어맞지 않는 경우의 두 가지이다. 정답자가 거의 없는

문항의 경우, 학생들이 실제로 반응한 내용들을 살펴보면, 응답 자체가 문제의

의도나 일반적인 논리로 볼 때 정답의 속성을 전혀 갖고 있지 않았다기 보다는

OE CD/ P ISA에서 제시한 채점기준을 지나치게 엄격하게 적용한 결과라고 볼 수

있다. 또한 수학의 경우와 같이 OE CD/ P ISA의 과학 문항도 TIM S S나

TIM SS-R과 마찬가지로 두 자리의 코드를 부여하고, 십의 자리의 수를 각 문항

에서의 점수와 연결시키는 것을 고려해 볼 수 있다. 현재와 같이 한 자리 체계

도 나름대로 의미를 갖지만, 채점 코드가 반응의 유형과 더불어 점수에 대한 정

- 128 -

보까지 제공하는 것이 더 바람직 할 것이다.

앞에서 기술한 전문가들의 검토의견을 바탕으로 하여 읽기, 수학, 과학 영역

의 예비검사 문항에 대한 한국측의 검토의견을 ACE R에 송부한 바 있다. 이 검

토의견은 <부록 6 >에 제시되어 있다.

3 . OE CD/ P IS A가 주는 시사 점

OE CD/ P ISA에 참여하는 주요 목적 중의 하나는 평가 관련 기법을 개발, 적

용하는 과정을 관찰하고, 개발된 검사도구의 강점과 약점을 분석하여, 이를 국

내 교육의 개선을 위해 적극 활용하려는 것이다. OE CD/ P ISA 평가가 우리 나

라의 국어, 영어, 수학, 과학 교육에 주는 시사점을 교과별로 정리하였다.

가 . 국어 교육 에 주 는 시 사점

OE CD/ P ISA 읽기 평가는 전 세계 학생들을 대상으로 읽기 뿐만이 아니라 수학,

과학 영역을 통합적으로 평가하는 것이기 때문에 우리 나라 국어 교육과 동일한

관점 및 준거에서 상호 비교하는 것은 어렵다. 그러나 국어교육과정에서 읽기를

중요하게 다루고 있으며, 또 OE CD/ P ISA의 읽기 문항이 여러 가지 점에서 국어교

육에서의 읽기 평가 방법에 시사하는 바가 크다는 점에서 국어교육 평가와 관련지

어 논의할 필요가 있다. OE CD/ P ISA 읽기 평가가 국어과 학업 성취도 평가틀, 국

어과 교육과정, 국어과 교수·학습, 국어과 평가 방법 등 네 가지 측면에 주는 시

사점을 중심으로 논의하고자 한다.

1 ) 국어과 학 업 성취도 평가틀에 주 는 시사점

OE CD/ P ISA 읽기 문항은 우리 나라 국어교육의 읽기 평가에 유의미한 틀을

제공하고 있다. 최근 문화 전반에 걸쳐 주목되는 현상의 하나로 읽기 라는 단어

가 매우 폭넓게 사용되고 있다는 것에 주목할 필요가 있다. 글쓴이가 전달하고

자 하는 의미를 이해하고 파악하는 수준에서 그치는 것이 아니라, 독자 나름대

로 의미를 구성 하는 것까지 포함하는 매우 포괄적인 활동을 가리키는 어휘로

- 129 -

사용되고 있다. 읽기가 글과 글쓴이에 대한 순응이 아니라, 새롭게 발견하고 창

조하는 활동을 강조하는 것이 최근 학계의 추세인 것이다. 읽기 활동이란 독자

가 글을 지각하여 스스로 의미를 구성하는 사고활동 (최영희, 1999)이라는 논의

가 나오는 것도 이런 이유 때문이다.

OE CD/ P ISA 읽기 문항은 이러한 최근의 흐름을 무엇보다 잘 반영하는 문항이라

고 판단된다. 이러한 추세에 맞게 현대 사회에서 필요한 다양한 읽기 능력, 곧 생

활에 필요한 단순 정보 확인에서부터, 내용 이해, 추리, 상상, 그리고 비판적 사고

력, 문제 해결 능력 등의 포괄적인 읽기 능력을 평가하고자 하는 것이다.

그런데 우리 나라 국어교육 읽기 평가에서는 아직 이런 문항을 찾아보기 어

렵다. 읽기가 능동적이고 적극적인 의미 구성 과정이라는 인식이 확산되었음에

도 불구하고, 읽기 능력 평가는 글에 나오는 사실적인 정보를 확인하는 수준의

문제를 주로 출제해 왔던 것이다(이인제, 정구향, 천경록, 이도영, 유동엽, 박종운,

정소휘, 서유경, 1997a). 물론 최근에 수행평가가 강조되면서 이런 현상을 극복하고

는 있지만, 다양한 형태의 읽기 문항에 대한 개발이나 소개는 이루어지지 않았다고

불 수 있다. 그런데 2000년부터 적용될 제7차 국어과 교육과정이, 다양한 읽기 자료

를 중심으로 이루어지는 학습자의 다양한 읽기 능력 신장을 강조하고 있다는 점을

염두에 둘 때, OECD/ P ISA 읽기 문항이 국어교육의 학업 성취도 평가틀에 주는 영

향은 자못 크리라고 생각한다.

2 ) 국어과 교 육과정에 주는 시사 점

기존의 국제 비교 연구에서 간혹 시도되기는 하였으나 대규모로 체계적으로

이루어지지 못했던 읽기 영역의 성취도 지표 개발과 통합교과적 능력의 평가는

OE CD/ P ISA의 가장 중요한 특징으로, 이 연구의 결과는 국내의 읽기 교육에

영향을 줄 것으로 예상된다.

과학이나 수학과는 달리 읽기 영역은 독립된 교과가 아니라 국어과의 듣기,

말하기, 읽기, 쓰기, 국어지식, 문학의 여섯 영역 가운데 한 영역이다. 따라서

읽기의 예비검사 문항만을 가지고 국어과 전체의 교육과정에 대한 시사점을 추

출한다는 것은 한계가 있기 때문에 주로 읽기 영역에 한정하기로 한다. 읽기는

초등학교 1학년부터 고등학교 1학년까지, 즉 국민 공통 기본 교과인 국어과의

한 영역이다. 그리고 고등학교 2학년부터는 독서라는 심화 과목으로 국어 생활,

- 130 -

화법, 작문, 문학, 문법 가운데 선택하는 과목으로 편성되어 있다.

평가는 교육 목표에 근거하여 교육의 과정 또는 결과가 어느 정도의 교육적

효과를 거두었는지를 판단하기 위한 교육의 한 과정으로 인식되어야 한다. 평가

는 전체 교육의 과정에서 볼 때, 독립 변인으로 존재하는 것이 아니라. 종속변

인으로 인식되는 것이다. OE CD/ P ISA의 읽기 평가 연구 결과가 우리 나라의

읽기 교육과정과 교수·학습에 주는 시사점을 항목별로 정리하고자 한다.

첫째, OE CD/ P ISA의 읽기 소양(r eading lit era cy)은 우리 나라 정규 학교 교

육과정의 읽기의 목표와는 그 성격이 다르다. 그러나 읽기 교육과정의 목표도

궁극적으로는 다양한 읽기 자료를 이해하는 능력을 기르는 데 있다. 그러므로

OE CD/ P ISA의 읽기 소양에서 의도하는, 실생활에 필요한 여러 유형의 읽기 자

료를 통하여 정보를 제대로 활용할 수 있는 능력을 기르도록 하는 데 우선적인

목표를 두어야 할 것이다.

OE CD/ P ISA에서는 읽기 소양을 단순히 본문에 나타난 의미를 파악하는 소극

적 활동이 아니라, 개인의 목표를 달성하고 개인의 지식과 능력을 개발하고 사

회에 참여하기 위하여 글로 쓰여진 정보를 이해하고 활용하는 능력 이라고 정의

한다. 즉 자신의 생각과 판단, 비판적인 능력을 바탕으로 하여 글에 담겨진 의

미를 이해하고 활용하는 활동이라는 것이다. 이는 IE A의 읽기의 정의, 사회나

개인의 가치 추구에 필요한 글을 이해하고 활용하는 능력 과 국제 읽기 조사 연

합의 정의, 사회에서 효율적으로 기능을 발휘하고 개인의 목적을 달성하며, 개

인의 지식과 가능성을 개발하기 위하여 문서로 된 정보를 활용하는 능력 을 바

탕으로 하였다.

제7차 교육과정에서는 국민 공통 기본 교과인 국어과에서 읽기에 대한 목표

가 개별적으로 제시되지 않았으므로 고등학교 독서 교육과정의 목표, 의사 소

통 행위로서의 독서의 본질과 원리를 이해하고, 글의 성격과 독서의 목적에 맞

추어 효율적으로 글을 읽게 하며 바람직한 독서 습관과 태도를 가지도록 한다.

와 비교하여 보면, 부분적으로는 일치하면서도 일정한 거리가 있다. 제7차 고등

학교 독서 교육과정의 목표에서 독서의 본질과 원리를 이해한다는 것은 독서에

대한 이론적 이해, 즉 지식을 말한다. 독서 교육의 신장을 주목표로 삼고 있는

독서 교육에서 독서의 본질과 이해를 요구하는 것은 이론적 지식의 이해가 실

제적 읽기 활동에 도움을 준다는 주장에 근거한 것이다. 이러한 지식을 바탕으

- 131 -

로 글의 성격이나 독서의 목적, 즉 글의 요인과 독자의 요인을 고려하여야 독서

능력을 신장할 수 있다. 그리고 바람직한 독서 습관과 태도가 형성되어야 독서

능력이 향상될 수 있다는 것이다.

OE CD/ P ISA의 목적은 학생들이 미래 지향적인 생활인으로 살아가는 데 필요

한 읽기의 소양을 측정하는 것이므로 우리 나라의 국어과 읽기 교육과정에서

이루어지는 의도적이며 학문적, 정형적인 읽기 교육과는 거리가 있다고 할 수

있다. OE CD/ P ISA에서 관심을 갖고 있는 읽기 소양 은 국어나 영어 등 특정

교과와 관련된 읽기 능력을 요구하는 것이라기보다는 지문이나 본문의 상황을

해독하고 필요한 정보를 추출하거나 활용하여 자신의 목적을 성취할 수 있는

능력이다. OE CD/ PISA에서 읽기 능력이 국제 비교의 대상으로 선택된 이유는

읽기가 교과별 학업 성취의 기본을 이루는 기초 능력이라고 보는 견해 때문이

라 할 수 있다. 우리 나라의 국어과 읽기 교육과정에서도 읽기가 범교과별 학업

성취의 바탕을 이루는 기초 능력이라는 관점을 유지하되, 특히 초등 학교나 중

학교 수준의 읽기 교육에서는 실생활에 유용한 정보의 획득 및 활용에 초점을

두어야 할 것으로 생각된다.

둘째, OE CD/ PISA의 읽기 평가틀은 크게 본문 상황, 본문 형태, 읽기 능력의

유형의 세 축을 중심으로 구성되어 읽기 교육의 다양성과 실생활에의 활용성에

대한 인식을 새롭게 한다. 이는 우리 나라의 국어과 읽기 교육과정의 내용 체계

가 읽기의 본질, 읽기의 원리, 읽기의 태도로 구성되고, 읽기의 실제로 언어 사

용 목적에 따라 정보를 전달하는 글, 설득하는 글, 정서 표현의 글, 친교의 글로

분류하여 포괄적으로 제시하는 것과는 비교가 된다.

OE CD/ P ISA 읽기의 본문 상황은 개인 목적의 글, 공공을 위한 글, 직업에 관

한 글, 교육에 관한 글로 분류되며 대상, 활용, 내용이라는 축에 따라 실제 생활

에서 쓰이는 다양한 여건과 읽기 자료의 종류가 제시되어 있다. OE CD/ P ISA

예비검사 읽기 문항의 상황별 분포를 보면 개인 목적의 글이 28%, 공공을 위한

글이 28%, 직업에 관한 글이 16%, 교육에 관한 글이 28%로 되어 골고루 분포

되어 있다. 특히 직업에 관한 글도 16%나 포함되어 있어 학생들이 실제 사회

생활에 적응할 수 있도록 활용한 점이 이채롭게 여겨진다.

OE CD/ P ISA 읽기에서 제시된 다양한 본문 상황은 실제 언어 생활에 활용되

는 다양한 산문, 문서, 형태에 근거한 문서 등이 총망라 제시되어 우리의 읽기

- 132 -

교육에서도 21세기의 정보화 시대를 살아갈 학생들을 위하여 반드시 제공하여

야 할 것으로 생각된다.

OE CD/ P ISA 읽기 평가틀은 읽기 능력을 본문 내에서 정보를 구하는 것과 일

반적 지식으로부터 추론하는 것으로 구분하고 있다. 읽기란 의미의 이해를 목적

으로 하는 지적인 과정으로 글과 독자가 함께 작용하는 것이다. 효율적인 읽기

교육은 이 두 가지 요인이 조화로운 상호 작용을 이룰 때 획득되는 것이라 할

수 있다.

셋째, OE CD/ P ISA 예비검사 읽기 문항의 활동별 분포는 다섯 가지가 있다.

이는 읽기 능력의 위계성을 고려하여 설정된 것으로 독서 능력을 고려하여 학

습 내용을 배열한 것이다. 우리 나라의 국어과 읽기 교육과정에서는 독해 기능

을 내용 확인하기, 추론하기, 평가와 감상하기로 분류하는 것과는 대체적으로

일치하나 부분적으로 차이가 있다. 이를 우리 국어과 읽기 교육과정 내용과 비

교·분석하면 교육과정의 내용을 선정할 때 참고가 될 것이다.

OE CD/ P ISA 예비검사 읽기 문항의 활동별 분포 다섯 가지를 우리나라 읽기

교육과정에 제시된 목표 능력과 비교해보면 다음과 같다. 전체적 이해 나 특정

정보 찾기 는 우리 국어과 읽기 교육과정의 내용 확인하기 에 해당한다고 할 수

있다. 추론적 이해 는 본문에 나와 있는 내용을 이해하는 것이 아니라 생략된

내용을 추론하는 활동을 일컬으며 우리 읽기 교육과정의 추론하기 에 해당한다.

저자의 의도 추론하기, 특정 인물의 의도 알기, 원인과 결과 찾기 등의 활동

이 있다. 본문 내용에 대한 논리적 고찰 은 본문의 내용을 자신의 주관과 논리

에 의하여 증명하고 뒷받침하는 증거를 제시하는 것으로 이 활동은 고도의 사

고력을 요하며 필자의 논리에 대한 근거 찾기 등의 활동이 있다. 본문 형태에

대한 비평적 고찰 은 본문 형태, 장르 및 표현의 적절성 등에 대하여 비평적으

로 이해하고 의견을 제시하는 항목이다. 본문 내용에 대한 논리적 고찰 과 본

문 형태에 대한 비평적 고찰 은 우리 국어과 읽기 교육과정의 평가와 감상하기

에 부분적으로 일치한다.

OE CD/ P ISA 예비검사 읽기 문항의 읽기 활동 중 본문에 제시되지 않은 내용

을 추론하고, 본문의 내용을 논리적으로 고찰하고, 비평하는 활동이 60%에 이

르고 있다. 이는 우리 나라는 물론 선진국들이 교육에서 가장 중요한 요소로 추

구하는 고등 사고 능력과 창의력, 문제 해결 능력을 기르기 위한 평가 방안이

- 133 -

다. 우리 나라의 대학수학능력시험에서도 추리 상상적 이해력, 비판적 이해력,

논리적 이해력이 언어 영역의 70% 이상 출제되고 있다.

넷째, OE CD/ P ISA의 읽기 평가 문항의 지문은 실제 사회 생활에 필요한 제

재(통합교과적인 능력)에 대한 학습 평가로 구성되었다. 읽기 교육과정과 교과

서에 얽매인 정형화되고 인위적인 문항보다는 일상 생활에서 쉽게 접할 수 있

는 다양한 상황을 배경으로 한 문항들이 제시되었다. 이러한 읽기 평가 문항들

은 우리 나라 학생들이 교과서에서 접하지 못하던 그러나 실생활에서는 자주

등장하는 각종 문서들을 포함하고 있다. 우리 나라의 읽기 교과서나 학습 자료

등에서 거의 도외시하였던 챠트, 그래프, 표, 개략도, 지도, 신청서, 광고, 인터

넷 등의 실용적인 읽기 자료의 이해와 활용도 읽기 교육의 장(場)인 학교 교육

에서는 반드시 교육되어야 할 것이다. 지금까지는 학교 교육은 주어진 교과서

속에 있는 지식만을 공부하는 데 국한되어 왔다. 그러나 지식은 교재로 채택된

내용에만 제시되어 있는 것은 아니다. 다양한 읽기 자료에 제시된 모든 내용이

읽기 학습의 대상이 되는 것이다. 이야기, 설명문, 서술문, 논설문 등의 정형적

인 제재로 구성된 교과서의 읽기 교육만으로는 실생활과 긴밀하게 연결된 교육

이 되지 못할 것이다. 국어과 읽기의 교수·학습에서도 OE CD/ P ISA의 읽기 평

가 문항의 지문과 같은 다양한 언어 자료를 활용할 필요가 있다.

다섯째, OE CD/ P ISA의 예비검사 읽기 문항은 다양한 지문의 종류에 따라 읽

기의 목적을 분명히 하고 있다. 따라서 읽기 문항은 지문의 특성에 따라 읽기의

방법을 조절하여 읽어야 문항에 답할 수 있도록 구성되어 있다. 읽기 문항은 과

제별로 제시되어 있으며, 하나의 과제는 상황을 설명하는 지문(사진이나 그림,

지도, 챠트, 표 등 포함)과 이 지문의 내용과 관련된 여러 개의 하위 문항들로

되어 있다. 즉 읽기 자료의 특성에 따라 자료에 제시된 정보를 활용하는 평가

문항이 제시되고 있다.

예를 들어 어린이 응급조치에 관한 글과 사진이 첨부된 지문이 나온 다음, 글

이나 사진에 나오는 정보를 활용하여 여러 상황에서 응급조치를 하는 다양한

과정에 수반되는 문항들이 제시되었다. 읽기에서 읽기 자료의 특성과 읽기의 목

적를 고려하여 읽기 방법을 조정하는 것은 일종의 상위 인지적 조절을 요하는

고등사고의 과정이라고 할 수 있다. 이러한 자기 점검적인 읽기 문항의 제시는

효율적인 읽기 교육을 위하여 교수·학습 과정에서 필수적으로 따라야 할 과정

- 134 -

으로 적절하게 제시되었다고 할 수 있다. 읽기 평가가 고립된 활동이 아니라 읽

기 교육의 전체적 체제와 흐름 속의 일부로 보는 인식이 필요하다는 것을 일깨

워 주기 때문이다. 읽기 평가는 읽기의 목표, 내용, 교수·학습과 유기적으로 관

련된다는 인식이 필요하다. 따라서 이러한 읽기 평가의 결과는 목표, 내용, 교

수·학습에 대한 점검이며 이를 개선할 수 있는 자료로 활용되어야 할 것이다.

3 ) 국어과 평 가 방법에 주는 시사점

읽기 활동에서 독자의 사전 지식이 중요한 역할을 한다는 것은 상식적인 견

해이다. 읽기 평가 논의에서 읽기 평가는 문화적으로 적합한 것이어야 한다.

(이인제, 정구향, 천경록, 이도영, 유동엽, 박종운, 정소휘, 서유경, 1997b)라는

주장이 나오는 것도 그러한 이유 때문이다. 독자가 글을 제대로 이해하기 위해

서는 글에 암시되어 있거나 생략되어 있는 정보들을 추론해야 한다. 모든 텍스

트는 설사 그것이 가장 간단한 텍스트라 하더라도 많은 정보들이 빠져 있거나

정보들이 명시적으로 제시되어 있지 않다. 그것을 추리하는 과정에서 핵심적인

역할을 하는 것이 바로 독자의 사전 지식이며, 그 사전 지식을 가능하게 하는

커다란 틀이 바로 사회·문화적인 배경이라고 할 수 있다. 그런데 사회·문화적

인 배경이 다른 여러 나라를 대상으로 한 OE CD/ P ISA 읽기 문항은 다소 그런

점에서 조심스러운 것이 사실이다. 그럼에도 불구하고, OE CD/ P ISA 평가는 우

리 나라 국어교육의 평가에 도움을 줄 수 있는 시사점이 많은 것도 사실이다.

여기에서는 OE CD/ P ISA 읽기 평가가 국어평가에 주는 시사점에 관하여 논의하

고자 한다.

다 양 한 읽 기 능 력 의 평 가

우리 나라 국어교육에서의 읽기 문항의 경우, 보통 하나의 지문에서 네 개 혹

은 다섯 개의 문항을 작성한다. 이런 틀은 OE CD/ PISA 문항과 비슷하다고 할

수 있다. 그런데 OE CD/ P ISA 문항은 하나의 지문에서 출제되는 문항들이 다양

한 읽기 능력을 평가하고자 한다는 점에서 시사하는 바가 크다.

OE CD/ P ISA 읽기 문항이 요구하는 것은 글의 의미를 찾거나 발견하거나 이

해하는 것만이 아니라, 의미를 독자의 입장에서 구성하는 입장을 강조하고 있

다. 즉 글쓴이가 글을 쓰면서 의도했던 의미를 파악하는 행위에 국한하는 것이

- 135 -

아니라, 주어진 지식이나 정보를 이해하는 것은 물론 그것을 통해 새로운 지식,

새로운 정보를 연상, 상상, 추리해 내는 능력까지 평가하고 있다.

학 습 자의 다 양 한 구 성 적 반 응 평 가

OE CD/ P ISA 읽기 자료는 객관식, 짧은 문장으로 구성된 서술형 문항, 좀더

긴 답안으로 구성된 서술형 문항 등과 같은 여러 다른 종류의 문항을 포함하고

있다. 선택형 문항은 우리 국어교육에서도 그 동안 자주 활용해 왔던 것으로,

여기서는 이 중에서도 짧은 문장으로 구성된 서술형 문항 , 좀더 긴 답안으로

구성된 서술형 문항 을 중심으로 논의하고자 한다.

두 유형의 문항에서 특징적인 것은 OE CD/ P ISA 읽기 문항이 학습자의 다양

한 구성적 반응을 평가하고 있다는 점이다. 일반적으로 평가에서의 반응 이란

어떤 질문에 대한 답을 쓰거나 말하는 것 (H ar r is & H odges, ed., 1995)을 의

미한다. 그런데 최근에 국어교육에서 강조하는 반응 의 의미는 단순하게 답을

쓰는 행위라기보다 주어진 문제 상황 혹은 질문에 대해 학습자 개인의 주체적

인 사고와 판단의 과정, 구체적으로는 이해, 발견, 분석, 평가, 태도 등의 여러

요소를 함축하면서 필요한 절차를 거쳐 이루어지는 여러 형태의 응답(김대행,

1997; 최미숙, 1998)이라는 의미로 사용하고 있다.

OE CD/ PISA 읽기 문항에서는 주어진 언어 상황 속에서 일정한 자극에 대해

주체적이면서도 다양한 구성적 반응을 유도하고 있다. 여기서 구성 의 의미는

선택 과는 반대의 의미를 지닌다는 점에 유의해야 한다. 여러 답지 중에서 이미

정해진 답을 고르기 위해 선택하는 것이 아니라, 문항에서 주어진 조건에 맞게

학습자 스스로의 독창적인 생각이나 정서를 구성하여 드러낸다는 의미를 지닌

다. 다음 발문은 그러한 특성을 잘 보여주는 대표적인 예이다.

다섯 학생들의 논지 중 어느 학생의 의견에 가장 적극적으로 동의하는가? 자신의 의

견과 자신이 동의하는 학생의 주요 논지를 함께 언급하면서 동의하는 이유를 한두

문장으로 서술하시오.

이 이야기는 약 2,500년 이전에 쓰여진 것이다. 아버지가 아들에 대해 느끼고 행동한

것이 오늘날에도 일반적이라고 생각하는가?

이야기의 내용을 언급하면서, 아버지의 태도를 오늘날의 부모의 태도와 비교하여 논

의하시오.

- 136 -

영화의 가치에 대한 마콘도 사람들이 내린 최종적인 판단에 대해서 당신은 동의하는

가? 영화에 대한 당신의 태도와 그들의 태도를 비교하여 설명하시오.

이 문항들은 모두 특정한 문제 상황에서 학습자 개인이 어떻게 생각하고 판단

했는지를 묻고 있다. 정해진 답은 없으며 학습자 스스로의 사고 과정, 문제해결

과정을 통해 자유롭게 반응할 것을 강조하고 있다. 그렇다고 해서 학습자가 생

각하는 모든 것이 다 긍정적인 반응인 것은 아니다.

주 체 적인 문 제 해 결 능 력 의 평가

최근 국어교육에서는 언어를 통해 이루어지는 창의력, 문제 해결 능력 등 고

등 사고 능력을 강조하고 있다. 국어교육에서 강조하는 문제해결 능력이란 문

제 상황이나 장면에 직면하여 그 문제를 해결해 나가는 체계적인 지적 활동 (김

광해, 윤여탁, 김중신, 김창원, 심영택, 1998)을 의미하는데, 이것은 국어교육이

궁극적으로 지향하는 바이며, 또한 평가의 방향이기도 하다.

OE CD/ P ISA 문항이 강조하는 것은 학습자 개인의 자유로운 반응이면서 동시

에 문제 상황을 어떻게 해결하여 언어로 표현하는가 하는 주체적인 문제해결

능력을 중시하고 있다. 학습자에 따라 경험도 다르고 생각하는 방식도 다르기

때문에, 또 각 개인의 관심사가 다르기 때문에 같은 이야기나 글을 읽고나서 생

각하는 것 혹은 표현으로 드러내는 방식이 다양할 수 있다. 학습자가 어떤 언어

상황에서 스스로 사고·판단, 평가하고, 그 결과를 통해 어떤 선택을 하고 그것

을 표현하는 반응의 과정에는 필히 학습자 개인의 주체적인 판단의 과정이 개

입하게 마련이다. 이러한 주체성을 토대로 학습자가 자신의 반응을 구성하는 능

력을 평가해야 하는데, 이렇듯 국어과 평가에서는 학습자 자신의 독자적이면서

도 주체적인 반응을 대상으로 하여 평가할 필요가 있으며, 최근에 논의되는 국

어교육 평가에서는 학습자의 주체성을 전제로 한 다양성을 존중해야 한다고 강

조하고 있다(최미숙, 1999b).

주체적인 문제해결 능력을 평가하는 것은 대부분의 문항이 나의 문제 로 치

환시켜 사고하고 나의 생각 을 표현하도록 요구하는 데서 잘 알 수 있다. 예를

들면, 그것이 집단 괴롭힘을 줄이는 데 있어서 효과적인지 아닌지 당신의 생각

- 137 -

을 쓰시오. 라는 문항에서 볼 수 있듯, 어떤 문제 상황에 대한 나의 생각 을 드

러낼 것을 요구하고 있다는 점이다.

실 제 적인 언 어 상황 을 전 제 로 한 평 가

주체적인 문제해결 능력의 평가는 문제 상황을 어떻게 문항으로 구성하는냐

하는 문제와 관련이 있다. OE CD/ P ISA 읽기 문항에서는 우리 일상 생활에서

일어날 수 있는 실제적인 읽기 상황 을 조성하고 난후, 해결 방안을 모색할 것

을 요구하고 있다. 이런 문항에 답하기 위해서 학습자는 자신에게 주어진 문제

상황이 어떤 언어 상황인지 판단하고, 그 속에서 어떤 자세를 취해야 하는지 결

정을 내려야 한다. 잡지에 실린 글, 신문에 실린 글, 평론, 문학작품, 심지어 호

텔에서 볼 수 있는 게시물, 물건 사용 설명서 등은 우리가 일상적으로 쉽게 접

할 수 있는, 하루에도 몇 번씩 부딪히는 읽기 자료들이다. 그러한 읽기 자료들

을 대하면서 우리들은 하루에도 몇 번씩 판단과 선택의 문제에 부딪히게 된다.

예를 들어, 잡지에서 우연히 읽은 영화 평론을 보고나서 그 영화를 보라고 친

구에게 권할 것인가 권하지 않을 것인가, 그 이유는 무엇인가를 묻는 문항에서

부터 글을 읽고 독자가 나누는 대화 중에 누구의 견해를 지지하는냐에 이르는

문항까지 그야말로 우리가 실질적으로 대할 수 있는 여러 언어 상황 속에서 평

가하고자 하고 있다.

기존의 국어교육 평가에서 많은 논자들이 비판했던 것이 바로 우리가 생활을

하면서 필요한 언어 능력을 평가하는 것이 아니라 전문적인 지식을 중심으로

한, 전문가들에게나 관심 있을 법한 내용들을 평가한다는 것이었다. 일상적인

국어 능력을 강조하고 있는 최근의 국어교육 흐름의 볼 때에도 OE CD/ P ISA 읽

기 문항에서 강조하고 있는 실제적인 언어 상황에서 필요한 능력을 평가하는

것은 매우 유의미하다고 하겠다.

상 세 한 채 점 기 준의 작 성

OECD/ PISA 읽기 문항이 우리 나라 국어교육에 주는 시사점 가운데 가장 핵심

적인 것은 상세한 채점 기준 이라 할 수 있다. 최근에 국어교육에서는 수행평가의

영향으로 학습자가 직접 말하고 듣고 읽고 쓰는 능력을 평가하는 도구를 많이 개

발하고 있다. 그 과정에서 자주 문제가 제기되었던 것이 바로 채점의 객관성, 신뢰

- 138 -

성 부분이었다. 채점의 객관성이나 신뢰성은 평가자와 학습자의 의사소통 속에서

이루어지는 것이며, 그 매개 역할을 하는 것이 바로 채점 기준이다.

OE CD/ P ISA 읽기 문항의 채점 기준의 대표적인 예를 제시하면 다음과 같다.

코드 2 이 통계 자료를 정확히 해석한 경우. 괴롭힘과 괴롭힘을 당하는 사례 사이의 인과

관계를 설명하려는 신빙성 있는 결론을 주어진 정보로부터 도출할 것. 예를 들어,괴롭힘을 당한자가 어떻게 가해자가 되는가, 혹은 괴롭힘과 괴롭힘을 당하는 사례

에는 공통된 요인이 있을 수 있다는 등. 인과 관계는 진술되거나 쉽게 추론할 수

있을 것.아이들은 자신들이 취급당한 대로 다른 아이들을 다루는 경향이 있다.아이들은 다른 아이들로부터 괴롭히는 것을 배운다.괴롭히는 자는 심술궂기 마련이고 그래서 다른 아이들로부터 괴롭힘을 당하게 된다.괴롭힘을 당한 아이들은 자기 정체 의식이 낮거나 분노를 자주 나타내며, 다른 아

이들을 괴롭힘으로써 그것을 다른 아이들에게 해소시켜야 한다고 느낀다. 그들은

급우의 괴롭히는 행동을 따라한다.괴롭힘은 일종의 보복이 될 수 있다.사람들이 그들을 괴롭히기 때문에 그들은 자신들이 다른 아이들을 괴롭혀도 된

다고 생각한다.코드 1 괴롭힘을 가하는 아이들이 다른 아이들보다 괴롭힘의 대상이 될 가능성이 더

크다는 식으로 이 통계 자료를 정확히 기술한 경우. 괴롭힘과 괴롭힘을 당하는

사례 사이의 인과 관계를 설명하려고 하지는 않음.아마도 괴롭힘을 직접 당한 아이들이 괴롭힘을 가하는 아이들이 되기가 쉬울

것이다.많은 가해 학생들이 한 때는 괴롭힘을 당하는 학생들이었다.가해 학생들의 많은 수가 또한 괴롭힘을 당했다.

코드 0 상관없거나 모호한 대답을 한 경우. 혹은 자료를 부정확하게 해석하거나 기술한 경우.괴롭힘을 가하는 아이들은 처벌을 받아야 한다.어느 누구도 알지 못하는 괴롭힘의 사례가 많다.많은 아이들이 학교에서 괴롭힘을 당하고 있다.네가 가해 학생이라면 다른 아이들은 너를 괴롭히지는 않을 것이다. 너는 힘이

세니까.

이러한 채점 기준에서 볼 수 있는 것은 최대한 객관적인 평가를 하기 위해

문항보다 오히려 채점 기준의 작성에 더 큰 노력을 보이고 있다는 점이다. 서술

형 평가의 채점에서 많은 사람들이 우려했던 것은 평가자의 주관이 개입될 우

려가 있다는 점이었다. 평가자에 의한 임의적인 평가를 방지하고 좀더 공정한

평가를 위해서는 채점의 기준을 사전에 마련하고, 그 채점 기준에 의거하여 평

가를 해야 한다. 그런데 국어교육 평가의 경우 여기에 한 가지 난점이 있다. 바

로, 채점의 공정성을 확보하면서도 동시에 학습자의 다양하면서도 창의적인 반

응을 채점할 수 있는 기준을 마련해야 한다는 점이다. 국어교육의 평가가 학습

- 139 -

자의 주체적인 판단, 즉 학습자 개인의 주체적인 반응과 다양성을 중시해야 한

다고 할 때, 그것을 채점 기준 작성 과정에서 어떻게 반영하느냐의 문제가 남는

것이다. 바로 그러한 다양한 반응들을 채점할 수 있는 기준을 마련하지 않으면

제대로 평가를 할 수 없기 때문이며, 채점의 공정성을 확보해야만 그 평가에 대

해 신뢰할 수 있기 때문이다.

OECD/ PISA 읽기 평가는 이러한 고민에 매우 유의미한 시사점을 줄 수 있을 듯

하다. 각 점수별로 반응의 범주를 상세하게 제시하고 있으며, 그 범주별로 다양한

반응의 예를 제시하고 있다. 이것은 OECD/ PISA 문항이 여러 나라를 대상으로 하

여 평가하기 때문에 채점 기준이 명확하지 않으면 평가가 제대로 이루어지기 어렵

기 때문이기도 하겠지만, 상세한 채점 기준 작성 방침이 주는 장점은 필히 유의해

야 할 부분이라고 생각한다. 채점 기준을 가능한 한 상세화하되, 가능성 있는 여러

종류의 답을 모두 포괄할 수 있어야 할 것이다. 위에 소개한 채점 기준은 이런 문

제를 해결할 수 있는 유의미한 예라 할 수 있을 것이다.

나 . 영어 교육 에 주 는 시 사점

OE CD/ P ISA문항에 참여하는 주요 목적중의 하나는 평가기법들이 개발, 적용

하는 과정을 관찰하고, 개발된 검사도구의 강점과 약점을 분석하여, 이를 국내

교육의 개선을 위해 적극 활용하기 위한 것이다. OE CD/ P ISA문항은 영어로 작

성된 것을 각 나라의 언어로 번역되어 평가하는 것이다. OE CD/ P ISA문항을 여

러 면으로 분석하여 보면 이 문항들이 우리나라 영어 교육에 시사하는 바를 찾

을 수 있을 것이다. 따라서 먼저 OE CD/ PISA문항의 특징들을 살펴보고,

OE CD/ P ISA 평가가 우리 나라 영어 교육에 미치는 시사점을 살펴보고자 한다.

1 ) OE CD/ P I SA문항 의 특징

OE CD/ P ISA문항의 특징은 크게 4가지로 나누어 생각할 수 있다.

첫째, 글감의 종류가 다양하다는 점이다. 그리고 이것들이 통합교과적 성격을

띠고 있다는 점이다. OE CD/ P ISA읽기 문항에서 제시된 다양한 본문상황은 실

제 언어생활에 활용되는 다양한 산문, 문서 등이 총망라되어 있다. OE CD/ P ISA

문항의 지문은 실제 사회활동에 필요한 제재로 구성되어 있어서 일상생활에서

- 140 -

접할 수 있는 다양한 상황을 배경으로 한 문항들을 제시하고 있다. 여기에 챠

트, 그래프, 표, 지도, 신청서, 인터넷, 광고 등 상황을 설명하는 자료가 포함되

어 있어서, 이들 상황설명 자료들은 읽기 자료의 특성에 따라 제시된 정보를 활

용하는 능력을 평가하는 문항으로 활용되고 있다.

또한 OE CD/ PISA문항에는 실제상황과 관련한 문항만 있는 것이 아니라 지리

나, 수학, 사회와 같은 영역에서의 학문하는 방법과 읽기를 통합한 통합적 성격

의 글감을 선보이고 있다.

둘째, 읽기 의 역할을 단순한 내용 이해 수준에서 보다 적극적인 수준으로 한

단계 높였다는 점이다. OE CD/ PISA문항의 목적은 학생들이 한 생활인으로 살

아가는데 필요한 읽기의 소양을 측정하는 것이다. OE CD/ P ISA문항에서 관심을

갖고 있는 읽기 소양 은 국어나 영어 등 특정교과와 관련된 읽기 능력을 요구

하는 것이라기 보다는, 지문이나 본문의 상황을 해독하고 필요한 정보를 추출하

거나 활용하여 자신에 목적을 성취할 수 있는 능력이다. 따라서 OE CD/ P ISA문

항에서는 읽기를 단순히 본문에 제시된 의미를 파악하는 소극적 활동으로 보지

않고 개인이 목표를 달성하고 개인의 지식과 능력을 개발하고 사회에 참여하

기 위하여 글로 쓰여진 정보를 이해하고 활용하는 능력 이라고 정의한다. 즉

OE CD/ P ISA문항은 읽기를 글쓴이의 의도나 글의 내용을 이해하는 수준에서 자

신의 생각과 판단, 비판적 능력을 바탕으로 글에 담겨진 의미를 이해하고 활용

하는 활동으로 그 의미를 확장시켰다.

셋째, 평가문항이 단답형에서 서술형까지 위계를 가지고 있으면서 학습자의

다양한 구성적 반응을 평가하고 있다는 점이다. OE CD/ P ISA문항의 읽기 자료

는 객관식, 단답식, 짧은 문장으로 된 서술형 문항, 좀 더 긴 답안을 요하는 서

술형 문항과 같은 여러 가지 종류의 문항을 포함하고 있다. 그런데 특징적인 점

은 서술형 문항이 독특하다는 것이다. 즉 OE CD/ P ISA문항에서는 주어진 언어

상황속에서 일정한 자극에 대해 주체적이면서도 다양한 구성적 반응을 유도하

고 있다. 즉 여러 답지 중에서 이미 정해진 답을 선택하는 것이 아니라 학습자

스스로의 독창적인 생각이나 정서를 구성하여 드러내도록 유도하는 지시문을

주고 있다는 것이다. 예를 들어 다섯 학생들의 논지 중 어느 학생의 의견에 가

장 적극적으로 동의하는가? 자신의 의견과 동의하는 학생의 주요 논지를 함께

언급하면서 동의하는 이유를 서술하시오 하는 것이 그것이다. 이 문항들은 특정

- 141 -

상황에 대해 학습자가 어떻게 생각하고 판단하는 지를 묻는 것으로, 정해진 답

은 없으며 학습자 스스로의 사고과정, 문제해결과정을 자유롭게 반응할 것을 강

조하고 있다. 이렇게 함으로써 OE CD/ P ISA문항은 개인의 창의력과 사고력 등

의 고등사고력을 평가하고 있다.

네째, 평가문항의 타당성과 신뢰성을 높이기 위해 답안을 여러 수준에서 성실

히 작성했다는 점이다. OE CD/ PISA문항이 돋보이는 부분은 바로 상세한 채점

기준이다. OE CD/ P ISA문항의 채점기준은 최대한 객관적인 평가를 하기 위해

문항보다 채점기준의 작성에 더 큰 노력을 보이고 있다. 서술형 평가에서 우려

되는 것은 평가자의 주관이 개입될 우려가 있다는 점인데 OE CD/ P ISA문항은

각 점수별로 반응의 범주를 상세하게 제시하고 범주별로 다양한 반응의 예를

제시함으로써 이러한 평가의 공정성과 신뢰성의 문제를 극복할 수 있는 의미있

는 시사점을 주고 있다.

2 ) OE CD/ P I SA문항 이 영어교육에 주는 시 사점

앞에서 살펴본 OE CD/ P ISA문항의 특징들은 영어과 교육에도 몇가지 시사점

을 준다. 영어과 교육과정은 국민 공통 기본교육 과정과 고등학교 선택중심 교

육과정으로 구성되어있다. 국민 공통 과목으로서의 영어는 3학년에서부터 10학

년까지 교육과정을 편성하여 운영되는 교과로 OE CD/ P ISA평가 대상 학생인 고

1까지 진행되는 교과이다. 선택과목은 11학년과 12학년에 이루어지는 교과로

영어I, 영어II, 영어독해, 영어회화, 영어작문등이 있다. 이중 읽기 영역은 국민

공통 기본교과인 영어와 선택과목인 영어I, 영어II의 한 영역이고, 영어독해와는

직접적으로 관련되는 영역이다. 여기에선 국민공통 기본교과인 영어의 10학년

단계와 읽기지도 전문 교과인 영어독해의 교육과정을 중심으로 OE CD/ P ISA문

항이 영어교육에 주는 시사점을 살펴보고자 한다.

O E C D/ P I S A문 항 은 읽 기 기 능 을 보 다 적 극 적 인 수 준 으 로 확장 시 켜 줌

으 로 써 영 어 과 교육 목 표 나 성취 기 준 에 시사 점 을 주 고 있 다 .

7차 교육과정의 언어기능을 살펴보면, 읽기는 문자언어의 이해기능으로 분류

되고 있다. 이때의 이해기능의 의미가 무엇인지 살펴보기 위해 영어독해의 교육

목표, 10학년 영어의 성취기준을 살펴보았다. 영어독해의 경우는 문장의 내용

- 142 -

을 이해하고 표현방법을 이해하고 의사소통 기능을 이해하며 직독, 직해, 다독

을 교육목표로 삼고 있다. 10학년의 읽기 경우는 다양한 종류의 글을 읽고 그

내용을 이해하여 필요한 정보를 찾거나 함축적인 의미를 이해하는 것과 나아가

글의 논리적 구조나 앞뒤관계를 이해하는 것 을 성취기준으로 정하고 있다. 이

를 통해 볼 때 7차 교육과정에 나타난 이해기능은 글쓴이가 전달하고자 하는

의미를 이해하고 파악하는 소극적 차원이다. 따라서 이해기능으로 분류된 읽기

역시 이 수준의 읽기를 의미하는 것으로, 독자 나름대로 의미를 구성하는 읽기

기능까지는 포함하지 못하고 있다.

이런 이유로 7차 교육과정에서 제시하는 영어과 교육목표가 영어를 이해하고

생각과 느낌을 표현할 수 있는 능력을 길러, 외국문화를 바르게 수용하고 우리

문화를 발전시키며, 이를 외국에 소개할 능력을 기른다. 라고 규정하고 있을 뿐,

문제해결력과 창의적 사고력 및 태도를 함양한다 와 같은 항목을 영어과 교육

목표에는 포함시키지 못한 것 같다.

OE CD/ P ISA문항은 읽기가 단순한 이해차원을 넘어 적극적이고 창의적인 생

각과 감정을 표현하는 기능으로 작용할 수 있음을 보여준다. OE CD/ P ISA문항

에서는 읽기 내용을 나의 문제 나의 생각 과의 관련성을 묻는 질문들을 함으로

써 비판적 사고력, 문제해결 능력 등의 포괄적인 읽기 능력을 평가하고 있다.

이는 영어교육의 읽기 지도에도 이와 관련한 교육을 실시할 수 있고 이를 통해

교육목표나 성취기준에도 문제해결력과 창의적 사고력 및 태도 와 관련한 사항

을 첨가할 수 있음을 시사하고 있다.

OE CD/ P I S A문 항 은 영 어 과 읽기 내 용 선정 에 도 몇가 지 시 사점 을 주 고

있 다 .

영어와 영어독해의 교과내용에는 어떠한 것이 있는가 살펴보기 위해 교육부

고시 고등학교 제7차 교육과정의 내용을 알아보았다. 영어과 교과내용으로 일상

생활에 친숙한 일반화제를 중심으로 학생들이 관심을 가지고 흥미를 느낄 수 있

는 소재를 선택하되, 의사소통능력, 탐구능력, 문제해결 능력을 기르는데 도움이

되는 내용 과 영어과 국민 공통 기본과정의 소재를 포함하여 일상생활과 일반적

인 화제 및 학문적 기반조성에 도움이 되는 내용을 중심으로 학생들이 관심을

가지고 흥미를 느낄 수 있는 소재를 선택하되, 의사소통능력, 탐구능력, 문제해

- 143 -

결 능력을 기르는데 도움이 되는 내용으로 한다 고 제시되어 있다(표 VI-7 참조).

<표 VI-7> 영어 교과의 소재

아 래 의 일 상 생 활 과 친 숙 한 일 반 적 인 화 제 를 중 심 으 로 , 학 생 들 이 관 심 을 가 지 고 흥 미 를 느 낄

수 있 는 소 재 를 선 택 하 되 , 의 사 소 통 능 력 , 탐 구 능 력 , 문 제 해 결 능 력 을 기 르 는 데 도 움 이 되

는 내 용 으 로 한 다 .

개인생활에 관한 내용

가정 생활과 의식주에 관한 내용

학교 생활과 교우 관계에 관한 내용

주변의 사회 생활과 대인 관계 등에 관한 내용

생활 습관 , 건강 , 운동 등에 관한 내용

취미, 오락, 여행 등 여가 선용에 관한 내용

동식물, 계절, 날씨 등 자연 현상에 관한 내용

외국인의 생활습관 학교 생활 등 일상 생활을 이해하는데 도움이 되는 내용

우리 문화 , 예절 , 일상 생활을 소개하는 데 도움이 되는 내용

공중 도덕 , 질서 등 건전한 가치관 형성에 도움이 되는 내용

환경 보전 , 봉사 , 협동 정신 등 건전한 사고를 기르는 데 도움이 되는 내용

정치, 경제, 역사, 지리, 과학, 정보 통신, 우주, 해양, 탐험 등 교양을 넓히는 데 도움이 되는 내용

예술 , 문학 등과 같이 심미적 심성을 기르는 데 도움이 되는 내용

근로 , 근검 절약 , 진로 문제 등 개인의 복지 증진에 도움이 되는 내용

남녀 평등 , 인권과 민주 시민 생활 등 민주 의식을 고취하는데 도움이 되는 내용

정서 순화와 합리적 사고력 배양에 도움이 되는 내용

애국심 함양과 안보에 도움이 되는 내용

영 어 과 국 민 공 통 기 본 교 육 과 정 의 소 재 를 포 함 하 여 , 아 래 의 일 생 생 활 과 일 반 적 인 화 제 및

학 문 적 기 반 조 성 에 도 움 이 되 는 내 용 을 중 심 으 로 학 생 들 이 관 심 을 가 지 고 흥 미 를 느 낄 수

있 는 소 재 를 선 택 하 되 , 의 사 소 통 능 력 , 탐 구 능 력 , 문 제 해 결 능 력 을 기 르 는 데 도 움 이 되 는

내 용 으 로 한 다 .

개인 , 가정 , 학교 , 사회 생활에 관한 내용

취미 , 오락 , 여행 , 운동 등 여가 선용에 관한 내용

건전하고 폭넓은 인간 관계 유지에 관한 내용

외국의 문화를 바르게 이해하는 데 도움이 되는 내용

우리 문화를 바르게 소개하는 데 도움이 되는 내용

정치 , 경제 , 인문 , 사회 , 역사 , 지리 , 교육 등에 관한 내용

공중 도덕 , 질서 의식 , 봉사 정신 , 협동 정신 및 근검 절약에 관한 내용

예술, 문학, 심리학, 인류학, 철학에 관한 내용

과학 , 기술 , 컴퓨터 , 정보 통신 및 우주 해양 탐험에 관한 내용

노동, 직업, 진로, 인생의 바른 삶에 관한 내용

민주 시민, 복지, 건강, 안전 생활에 관한 내용

정서 순화 , 합리적 사고력 , 창의력 , 개척 정신 함양에 도움이 되는 내용

인구 문제 , 환경 문제 , 청소년 문제 등에 관한 내용

회의 , 토론 , 토의 등을 진행하는 데 도움이 되는 내용

평화, 통일, 자유, 세계 공동 의식에 관한 내용

국제어로서의 영어 인식에 관한 내용

<자료 : 교육부, 고등학교 교육과정(I), 1997>

- 144 -

이들 내용과 제시된 "소재"들을 살펴보면 영어과의 교과내용은 언어 소재면에

서는 OE CD/ P ISA문항과는 큰 차이를 보이지 않는다. 그러나 내용구성 면에서

몇가지 차이점을 보이고 있다.

첫째, 교육과정의 "소재"에는 타교과와 관련된 언어소재를 교양을 넓히는데

도움이 되는 수준 으로 정하고 있다. 이는 타교과와 관련한 내용을 단순히 이해

하는 수준에서 읽기의 기능을 정하고 있는 것이다. 반면에 OE CD/ PISA문항에

서는 그 교과의 학문적인 태도나 방법 등이 동원된 내용을 읽기소재로 삼고 있

다. 즉 OE CD/ PISA문항에는 영어로 풀어보는 수학문제, 영어로 풀어보는 지리

문제 등을 제시하고 있어서 영어가 읽기지도를 통해 통합교과적 성격을 가질

가능성을 보여주고 있다.

둘째, OE CD/ PISA문항에는 본문의 내용을 나의 문제 나의 생각 으로 환원시

켜 생각해 볼 수 있는 내용으로 문항을 구성한다는 것이다. 같은 이솝우화에 관

한 내용이라 하더라도 일방적으로 교훈을 주고자 내용을 구성하기 보다는 충분

히 양가적 가치를 갖는 내용을 본문의 내용으로 구성함으로써 나의 입장 나의

문제 와 결부시키게 하고 있다.

우리의 영어 교과의 내용도 이처럼 실생활과 관련된 다양한 소재를 가지고

그 내용이 독자로 하여금 나의 문제 나의 생각 으로 환원시켜 생각해 볼 수 있

는 방식으로 구성되고, 또 다른 교과를 영어로 읽어보는 통합적 수준에서 구성

된다면 보다 깊이 있는 읽기 지도가 될 것 같다. 그러기 위해서는 교육과정의

교육내용이나 소재를 제시하는 부분에 타 교과의 내용을 구성하는 방식과 내용

구성의 수준에 대하여 기준을 정해줄 필요가 있다고 생각한다.

O E C D/ P I S A문 항 은 교 수 -학 습 에 도 시 사 점 을 주고 있 다 .

7차 교육과정에서는 읽기 기능을 글의 내용파악이라는 소극적 수준에서 개념

화 하고 있기 때문에, 국민공통 기본교과인 영어에 읽기와 관련된 교수-학습 방

법도 속독, 직독, 직해를 교수방법으로 제시하고 있다. 영어독해의 경우에도 정

독, 다독, 속독, 직독, 직해, 음독, 묵독 등의 독해요령 터득과 관련한 교수법을

제시하고 있다.

OE CD문항에는 읽을 내용에 관한 이해뿐 아니라 자기와의 관련성을 생각하

게 하는 문항을 포함하고 있어서 영어 읽기 지도에서 제시하는 내용 이해뿐만

- 145 -

아니라 지도 과정에서 나 와 의미를 표현하는 교수-학습 방식을 시도할 수 있음

을 시사하고 있다. 나의 문제 나의 생각 표현을 말하기나 쓰기를 통해 하게함

으로써 읽기 지도가 쓰기와 말하기와 결합된 교수-학습의 가능성을 제시한다.

이렇게 되면 읽기 지도를 통하여 단순히 이해 기능만을 수행하는 것이 아니라

이해 기능과 표현 기능을 동시에 수행할 수 있는 것이다.

O E C D/ P I S A문 항 은 평 가내 용 측 면 에도 시 사 점 을 준 다 .

7차 교육과정에서 읽기와 관련된 평가에는 암기위주의 평가를 지향하고 문제

해결 능력과 통합평가에 비중을 둘 것을 제시하고 있다. 또 어려운 글을 심도있

게 읽는 능력을 측정하는 역량평가와 짧은 시간에 많은 글을 읽는 능력을 측정

하는 속도평가를 적절하게 실시할 것을 제시하고 있다. 그러나 실제로 현재 실

시되고 있는 영어과 읽기 평가에서는 글에 나타난 사실적인 정보나 함축적인

정보를 확인하는 수준의 문제가 대부분이었지 문제해결력이나 통합평가 또는

자신의 의견이나 사고력, 창의력 등 고등의 사고기능을 측정하는 평가는 실시하

지 못했다. 이러한 문제를 해결하기 위해 도입된 것이 수행평가이다. 수행평가

는 지식이 개인과는 별개로 존재하는 것이 아니라 개개인에 의해 창조되고 구

성되고 조직되는 것이라는 상대적인 진리관에 근거하여 학생들의 다양성과 창

의성 및 문제해결력 등 고등사고 기능을 평가함으로써 이러한 능력들을 길러주

고자 하는데서 출발하였다.

그러나 수행평가의 읽기 영역에 제시된 성취기준을 살펴보면, 관용적 표현의

이해, 간단한 글의 세부내용 파악하기, 글의 전개방식, 원인과 결과, 결론과 근

거 등을 이해하기 등으로 제시되어 있어 수행평가 역시 읽기 기능을 소극적 수

준의 이해 에 머물러 있음을 알 수 있다.

OE CD/ P ISA 읽기문항은 영어과의 수행평가에도 시사점을 제시해 주는데 그

것은 읽기 수행평가가 단순히 이해된 문장 의 내용을 서술적으로 쓰는 것 뿐만

아니라 나아가 학생의 사고력 신장시켜 주는 방향으로 평가내용이 제시되야 함

을 시사하고 있다.

O E C D/ P I S A문 항 은 평 가방 법 에 도 시사 점 을 준 다 .

앞에서 언급한 평가내용이 가능함을 OE CD/ P ISA문항은 보여주고 있는데 그

- 146 -

것은OE CD/ P ISA문항이 상세한 채점기준을 제시함으로써 채점과 관련한 신뢰감

을 주기 때문이다. OE CD/ P ISA문항의 채점기준은 최대한 객관적인 평가를 하

기 위해 문항보다 채점기준의 작성에 더 큰 노력을 보이고 있다. 서술형 평가를

꺼리는 가장 큰 이유가 평가자의 주관이 개입될 우려가 있다는 점인데 OE CD

읽기 평가에서는 채점기준의 선정에 상당한 공을 들임으로써 이러한 평가의 공

정성과 신뢰성의 문제에 의미있는 시사점을 주고 있다. OE CD/ PISA문항의 경

우는 각 점수별로 반응의 범주를 상세하게 제시하고 있으며 그 범주별로 다양

한 반응의 예를 제시하고 있다. 채점기준이 명확하게 확보될 때 평가내용이나

교수-학습내용, 및 교육목표에 확실한 변화가 올 수 있음을 OE CD/ P ISA문항은

보여주고 있다.

다 . 수학 교육 에 주 는 시 사점

OE CD/ P ISA의 수학 평가틀을 구성하는 네 가지 요소 중 첫 번째의 수학적

능력 에서 핵심적인 개념으로 작용하는 것이 수학화(m ath em at izat ion ) 이다. 이

는 최근 수학교육학에서 활발하게 논의되는 교수학적 현상학(didact ic

ph enom enology)의 기본을 이루는 개념으로, OE CD/ P ISA의 수학 문항들은 수

학화 과정에 주안하는 문항들을 구체화시켰다는 점에서 주목할 만 하다.

OE CD/ P ISA 수학 문항이 다루고 있는 내용은 대부분 우리 나라 중학교 3학

년 이하의 교육과정에서 취급되고 있기 때문에, 고등학교 1, 2학년 학생들에게

는 쉬운 문항이라고 할 수 있다. 그러나 예비검사 결과 학생들의 수학 성취도는

상당히 저조한 것으로 나타났다. 그 원인은 다각적으로 분석될 수 있으나, 우선

적으로 고려될 수 있는 것은 OE CD/ P ISA의 문항이 강조하고 있는 바와 우리의

교육과정이나 교과서가 주안점을 두고 있는 바와 다르다는 점이다. 즉

OE CD/ P ISA의 수학 문항은 OE CD/ P ISA가 추구하고 또 측정하고자 하는 수학

적 소양에 근거하여 수학의 활용적인 측면, 즉 수학과 일상 생활이나 타 교과를

관련시키는 문제해결력 중심으로 구성되어 있다. 그러나 우리 나라의 교육과정

과 교과서는 그와 같은 수학 외적인 문제해결력보다는 수학 내적인 문제해결력

이나, 순수학 수학적 문제를 통해 개념의 이해나 계산 능력을 신장시키는 데 주

안하고 있다.

- 147 -

따라서 우리 나라의 수학교육과정이나 국가 수준 검사의 평가틀, 교수·학습

방법에서 실제 상황에서 수학을 활용하는 것이나 문제해결력 등을 더욱 강조하

여야 할 것이다. 사실 수학교육학에서 1980년대 이후 전세계적으로 강조해 온

것이 바로 문제해결력의 신장이다. 수학의 학습은 어느 경우나 문제해결을 위주

로 하여 이루어진다고 할 수도 있으나, 여기서의 문제 란 해결의 절차가 이미

알려져 있어서 단순히 계산 연습의 대상이 되는 문제나 정형화된 알고리즘을

수행함으로써 해결되기 문제가 아닌, 소위 고등사고능력을 요구하는 문제를 말

한다.

미국 수학교사협의회인 NCTM(National Council of Teachers of mathemat ics)

가 1980년대는 문제해결의 시대라고 선언한 이후, 각국의 교육과정은 문제해결

을 수학교육의 최대 목표로 강조해왔다. 또 NCTM이 1990년대의 수학 교육을

조망하면서 1989년에 제안한 학교 수학의 교육과정과 평가 기준집(Curr iculum

and Evaluat ion St andar ds for School Mathem at ics) 에서 문제해결은 K-4,

5-8, 9 -12의 각 수준에서 첫 번째 규준으로 제시되어 있어 상당한 강조점을 두

고 있음을 알 수 있으며, 최근에 개정한 2000년대의 기준집(St andar ds 2000)

에서도 문제해결은 중요한 규준으로 취급되고 있다.

우리 나라는 제3차 교육과정에서 급격하게 도입되었던 수학교육 현대화의 내

용이 제4차 교육과정 개정시 경감되고 정선되면서, 지나치게 어려운 내용보다는

수학의 기초적 기능을 배양하고 문제해결력을 신장시키는 일에 관심을 갖게 되

었으며, 제5차 수학과 교육과정에서도 수학 내용을 정선하면서 문제해결력의 신

장을 강조하였다. 제6차 교육과정에서는 문제해결력의 신장을 위한 지도 내용,

전략, 방법 등을 구체적으로 제시하여, 문제해결력의 지도에 보다 적극성을 띠

게 되었으며, 이러한 경향은 7차 교육과정에서도 계속되고 있다. 이와 같이 문

제해결력은 교육과정과 교과서에서 지속적으로 강조해 온 목표임에도 불구하고

아직도 충분하게 반영되어 있다고 보기는 어렵기 때문에 수학 교육과정과 교과

서가 보다 적극적으로 문제해결력의 신장을 추구하는 것이 필요하다.

한편 국내에서 최근 학교 현장의 변화를 유도하고 있는 것이 바로 수행평가

이다. OE CD/ P ISA의 수학 문항 중 주관식 문항은 대부분 수행평가의 형태를

띤다고 할 수 있다. OE CD/ PISA의 주관식 문항은 학생의 구성적인 반응을 요

구하고, 실생활 맥락에서 문제 상황이 전개되며, 또 문제의 해결을 위해서는 여

- 148 -

러 가지 고등사고능력이 복합적으로 요구된다는 점에서 수행평가의 특성과 일

치하는 부분이 있다. TIMSS에서 수행평가 문항이 선택 사항으로 포함되어 있

었고(우리 나라는 수행평가 검사에는 참여하지 않았음), OE CD/ P ISA와 같은 대

규모의 국제비교 검사도 수행평가 문항을 상당 비율 포함하고 있다는 점은 수

행평가가 대표적인 최근의 평가 방법으로 자리잡고 있음을 입증한다.

최근 들어 학교 현장에서 수행평가를 실시하는데 가장 큰 걸림돌은 바로 객

관성의 문제이다. OE CD/ P ISA의 주관식 채점 코드는 학생들의 다양한 반응을

어떻게 분류하고 채점하고 점수화하는지 그 방법론을 제시한 것으로, 이와 같이

체계적인 채점 방법은 수행평가 문항의 객관도를 높이는데 기여할 수 있을 것

이다.

한편 OE CD/ P ISA 검사지에 포함되어 있는 읽기, 수학, 과학의 통합교과적인

접근은 OE CD/ P ISA를 기존의 국제비교 검사와 차별화시키는 가장 큰 특징 중

의 하나이며, 교육적으로 의미있는 시도라고 할 수 있다. 그러나 읽기, 수학, 과

학적 능력들을 종합적으로 요구하는 과제가 있다고 할 때, 이상적으로 융합되어

고차적인 사고를 필요로 하는 상태로 승화되기보다는, 대개의 경우 통합이라는

기치 아래 단지 병렬적으로 읽기, 수학, 과학의 내용을 평가하게 되는 경향이

있다. 특히 하나의 본문이 읽기, 수학, 과학 문항을 포함해야 하므로, 각각의 교

과 입장에서 보며, 초등화된 내용을 다루는 문항으로 귀결되기 쉽다.

대학수학능력 시험에서 수학 문항은 수학 그 자체로서도 출제되지만 주변의

여러 교과와 관련짓는 문제를 다수 출제하면서 통합교과적인 아이디어를 시도

하고 있다. 이러한 측면에서 볼 때, OE CD/ P ISA의 읽기, 수학, 과학의 통합 문

항 시도는 우리 나라의 제 평가에 많은 시사점을 준다고 볼 수 있다. 그러나 위

에서 지적한대로 통합을 해야한다는 당위성에만 의존하게 될 경우, 분과적인 접

근보다 그 의미를 찾기 어려운 경우도 있으므로 세심한 배려가 필요하다.

라 . 과학 교육 에 주 는 시 사점

예비 검사라는 한계를 가지고 있지만, OE CD/ P ISA 연구 결과가 우리 나라의

과학 교육에 주는 시사점은 다음과 같이 학업 성취도 평가틀, 교육과정, 교수·

학습 및 평가 방법 등 세 가지 측면에서 요약될 수 있다.

- 149 -

1 ) 과학과 학 업 성취도 평가틀에 주 는 시사점

국내에서 실시되고 있는 전국적 수준의 대규모 학업 성취도 평가에는 대학 수학

능력 시험 을 비롯하여 초·중·고에서 실시되고 있는 학업 성취도 평가, 각종 모

의 고사 등 여러 가지가 있다. 이러한 다양한 평가마다 과학과 나름대로의 틀을 만

들어 그 틀에 의해 제작된 문항에 따라 평가가 이루어지고 있다. 또한, 초·중·고

수준에서 이루어지는 대부분의 평가는 무엇보다도 국가 교육과정에 근거하여 평가

틀이 만들어진다. 따라서, 교육과정을 고려하지 않은 OECD/ PISA의 과학 평가틀

을 그대로 국내 과학과 학업 성취도 평가에 반영할 수는 없을 것이다. 그러나,

OE CD/ P ISA 과학 평가틀로부터 얻을 수 있는 다음과 같은 점들은 우리에게 큰

의미를 주기 때문에 반드시 고려할 필요가 있다.

첫째, 평가틀을 만들어 가는 과정의 철저함이다. 한 국가 내에서 이루어지는

것도 아니고 30여개국이 공동으로 참여하는 대규모 국제 비교 연구임에도 불구

하고 평가틀의 초안을 잡는 것에서부터 마지막 수정, 확정할 때까지 끊임없이

각국 과학 교육 전문가들의 의견을 조율하고 참여하는 과정을 거쳤다. 이들 각

국 전문가들은 이론적, 실질적으로 과학 교육의 흐름을 확실하게 파악하고 있을

뿐만 아니라 TIMSS와 같은 기존의 국제 학력 평가의 과학 평가틀 구성에도 깊

이 참여해 본 경험이 있어 거의 완벽한 평가틀을 구안하는 데 큰 기여를 했다.

이렇게 만들어진 과학 평가틀은 최고의 과학 교육 학술지인『Int ernat ion al

J ourn al of Scien ce E du cat ion』(F ensham et a l., 1999)의 연구 논문으로 실릴

정도로 수준 높은 것임이 입증된 바 있다. 평가의 기본이 되는 평가틀을 철저

하게 만들게 되면 이후 진행되는 모든 과정이 그 평가틀에 근거하여 합리적으

로 진행되게 된다. 따라서, 학생들이 실제적으로 접하게 되는 문항의 바탕에 철

저하게 연구되어 제작된 평가틀이 있다면, 평가 문항의 수준이 낮다거나 혹은

높다거나 하는 논쟁, 하나의 영역에 치우쳐 문항이 출제되었다는 등의 논쟁, 문

항의 형태가 지나치게 진부하다던가 혹은 파격적이라던가 하는 논쟁 등은 더

이상 존재하지 못할 것이다.

둘째, 과학 교육의 이론적 흐름과 시대 상황을 적절하게 반영하여 평가틀을

구성한 점이다. III장에서 언급하였듯이 OE CD/ P ISA 과학 평가의 철학을 한 마

디로 정의하면 바로 과학적 소양 이다. 과학적 소양이 과학 교육에서의 주요 쟁

점으로 떠오른 것은 이미 20년이 넘었으나, 과학 평가틀의 핵심 철학으로 등장

- 150 -

한 경우는 거의 없었다. OE CD/ P ISA 평가의 세 축인 탐구 과정, 개념/내용, 상

황 등도 모두 과학적 소양을 그 바탕에 두고 있고, 특히 문항 구성틀에서 기존

의 물리, 화학, 생물, 지구 과학 등의 전통적 구분을 벗어나 생명 건강 과학, 지

구 환경 과학, 과학 기술 등 다분히 과학적 소양을 문항에 도입하려고 하였다.

또한, 21세기를 맞이하는 시대적 상황에서 더욱 요구되는 것이 과학적 소양이

라는 점을 감안한다면 OE CD/ P ISA 과학 평가틀이야말로 과학 교육의 이론을

이론에서 그치지 않고 실제 평가 상황에 도입한 의미 있는 시도라 할 수 있다.

우리도 교육과정에서 강조하고 있는 과학 교육의 이론적 목표를 실제 각종 학

업 성취도 평가의 문항에 실질적으로 도입하여 현재 각광받는 과학 교육의 이

론을 실제 평가 상황에서 구현하는 방향으로 점차 나아가야 할 것이다.

2 ) 과학과 교 육과정에 주는 시사 점

사실 OE CD/ P ISA는 학교 교육과정을 평가의 근거로 하는 것이 아니기 때문

에, 참여국의 교육과정과 우리 나라의 교육과정을 비교하여 그 의미를 찾을 수

는 없다. 그러나, 다음과 같은 점에서 볼 때 향후 진행될 과학과 교육과정의 개

정에 OE CD/ P ISA 평가틀이 주는 의미는 충분하다 할 수 있다.

첫째, OE CD/ P ISA 과학 평가틀은 기본이 되는 평가 목표에서부터 최종 산물

인 문항 개발에 이르기까지 내용에 있어 일관성을 보인다는 점이다.

OE CD/ P ISA 과학 영역에서는 평가의 기본 목표인 과학적 소양을 중심으로 내

용을 구체적으로 전개해 나가고 있다. 즉, 과학적 소양을 바탕으로 평가틀의 개

괄적인 것에서부터 세부 내용에 이르기까지 일관성을 가지고 구성된다. 우리 나

라의 경우 지금까지 7차례 교육과정이 개정될 때마다 과학과에서 추구하는 목

표가 달랐으나, 그 목표와 일관성을 가지고 세부 내용을 제시해 왔다고 보기 어

렵다. 다시 말해, 목표는 그저 목표로서의 진술에서 그치고 내용은 목표와는 별

개로 내용 자체의 흐름을 가지고 제시하는 경향이 있다. 더구나 내용 진술도 구

체적이지 못해 학교 교육 현장에 실질적인 도움을 주기 어려운 것도 사실이다.

예를 들면, 과학과 목표에 과학-기술-사회의 연관성에 관한 항목이 있다고 해도

실제 교수·학습 방법이나 내용 및 평가 등의 항목에서 과학-기술-사회의 연관성

을 구체적이고 실질적인 내용으로 제시해 주지는 못하고 있는 실정이다. 바로

이런 점이 과학과 교육과정의 목표가 학교 교육에 직접적인 영향을 주지 못하는

- 151 -

원인이라고도 할 수 있을 것이다. 반면, OE CD/ PISA에서 과학적 소양의 평가라

는 기본 목적을 일관성 있게 실제 문항에 적극 반영하는 것에서 과학 교육 이론

이 이론에서 그치는 것이 아닌 좋은 예를 보여준 것이라 할 수 있다. 또한, 이런

원칙이 바로 우리의 교육과정에서도 동일하게 적용되어야 할 부분인 것이다.

둘째, OE CD/ PISA에서는 내용이나 형식면에서 참신하고 획기적인 시도를 하

고 있다는 점이다. 본 연구에서는 과학 평가의 세 축을 탐구 과정, 개념/내용 및

상황으로 정하고 있다. 탐구 과정은 다시 문제 인식, 증거 확인, 결론 도출, 의

사 소통 등 구체적으로 구분하여 제시하고 있다. 그런데, 이러한 탐구 요소는

관찰이나 분류 등의 1차 탐구 요소보다 한 단계 높은 2차 탐구 요소로 15세 학

생(고등 학교 1, 2학년)을 대상으로 하는 평가에 적합하다 할 수 있다. 또한, 내

용에 있어서도 기존의 물리, 화학, 생물, 지구 과학의 틀을 과감히 깨고, 과학

기술, 생명 건강 과학, 지구 환경 과학 등 시대적 요구에 부합되는 내용으로 구

성하였다. 특히, 상황이라는 축을 설정한 것은 과학의 개념 하나 하나에 얽매이

기보다는 실제 상황을 제공하여 그 상황에 맞는 과학 지식을 알고자 하는 의도

이다. 한편, 우리의 과학과 교육과정은 1) 학교급에 따라 위계를 세워 탐구 요

소를 제시하기보다는 초등 학교에서부터 고등 학교에 이르기까지 거의 동일한

탐구 요소를 제시하여 실질적으로 거의 도움을 줄 수 없고, 2) 변화하는 시대의

요구를 수용하기보다는 거의 40년이 넘도록 물리, 화학, 생물, 지구 과학의 영

역 체제를 유지할 뿐만 아니라 그 내용에 있어서도 많은 변화를 주지 못해 실

질적으로 우리의 생활에 도움을 줄 수 있는 건강 과학과 환경 과학의 내용을

소홀히 하며, 3) 교실이나 실험실이라는 제한된 상황에서 가능한 전통적 과학 지

식의 학습을 고수해 온 것이 사실이다. 따라서, 학생들의 수준에 맞는 탐구 요

소, 시대적 요구를 받아들이는 과학 내용 영역, 실제 상황의 도입 등 전통적인

사고에서 탈피하여 파격적으로 새로운 것을 시도해 보고자 하는 OECD/ PISA 과

학 평가틀의 내용은 우리의 교육과정 개정에 많은 참고가 될 것이다.

3 ) 과학과 교 수·학습 및 평가 방법 에 주는 시사점

최근 우리의 교육은 세계적인 흐름에 발맞추어 결과보다는 과정을 중요시하

는 과정 중심의 평가로 그 방향을 바꾸어 나가고 있다. 따라서, 교수·학습과

평가를 별개의 것으로 보지 않고 연속선상에서 보는 것이 바람직하므로 여기서

- 152 -

도 함께 고려하기로 한다.

OE CD/ P ISA의 최고의 목적이 과학적 소양의 측정에 있다는 것은 이미 수 차

례 언급해 왔다. 그러나, 실제로 학생들이 접하는 평가 문항이 과연 어떤 내용

및 형태로 구성되어 있는가를 보는 것이 이 연구의 특성을 한 눈에 알 수 있는

가장 확실한 방법일 것이다. 평가의 방법이 개선됨에 따라 교수·학습 방법도

개선된다고 볼 때, 이 연구의 과학 문항을 통해 다음과 같은 점에서 우리 나라

과학 교육 교수, 학습 및 평가 방법에 주는 의미를 찾을 수 있을 것이다.

첫째, 과학 문항은 최근 우리 나라에서 각광받고 있는 수행 평가의 좋은 예를

보여주고 있다는 점이다. 과학 문항의 경우 단편 지식을 묻는 문항을 완전히 배

제하고자 하였기 때문에 과학 지식을 묻는 문항이라 할 지라도 복합 지식을 묻

는 문항이 대부분이다. 또한, 반 이상이 탐구 과정을 묻는 문항으로 구성되었기

때문에 단편 지식이 아닌 과정을 중요시하는 수행 평가 방법의 취지와 부합되

는 문항이 상당히 많이 포함되어 있다. 특히, 문제 인식, 의사 소통 등의 고등

탐구 능력을 측정하는 수행 평가 문항은 아직까지 우리 나라에서 많이 시도되

지 못하고 있는 부분인데, OE CD/ P ISA 과학 문항을 통해 참고될 수 있는 것이

많을 것이다. 문항의 형태 측면에서 보아도 주관식이 전체 과학 문항의 60% 이

상을 차지하고 있고 주관식 문항 자체도 다양한 의도와 방법을 이용하여 제시

되고 있기 때문에 OE CD/ P ISA 과학 문항들을 참고하면 수행 평가 문항 개발에

큰 도움을 얻을 수 있을 것이다.

둘째, 과제로 구성된 과학 문항마다 실생활에서 흔히 접하는 상황을 도입했다

는 점이다. 상황 도입을 통한 과학 교육의 효과는 이미 여러 학자들에 의해 입

증되어 왔으나 우리의 경우 교수·학습이나 평가의 상황에서 활발하게 응용되

지 못하고 있는 실정이다. 특히 저학년에서 시도되고 있는 실생활의 상황 도입

을 통한 과학 교육은 학년이 올라갈수록 거의 시도되지 못하고 여전히 과학 개

념을 위계적으로 학습하며 평가하고 있다. 만 15세 학생들이 대상인 OECD/ PISA

과학 문항은 바로 우리가 많이 시도하지 못했던 고등 학교 학생들의 수준에 맞

는 상황 도입을 통한 평가의 예를 보여주고 있다. 물론 예비 검사 문항에서 도

입된 상황에 대한 검증 작업이 남아있기는 하지만, 인터넷, 역사책, 일기, 신문

기사 등 다양한 자료에서 인용된 실제 상황들을 도입하여 평가 문항을 개발하

였다는 점은 매우 획기적인 평가 방법의 혁신이라 할 수 있다.

- 153 -

V II . 배경변인 조사 결과 분석

이 장에서는 OE CD/ P ISA 예비검사에서 인지 검사와 더불어 시행되었던 배경

변인 설문조사의 결과를 분석하였다. 인지 검사의 경우와 마찬가지로, 1999년에

실시되었던 배경변인 설문조사의 목적은 학생 성취의 배경과 과정을 이해하는

데 도움이 될 수 있는 배경변인들을 정선하여 2000년 본검사에 사용하고자 하

는 것이다. 따라서 배경변인에 대한 학생과 학교의 응답 내용을 분석함에 있어

서 성취도와 배경변인과의 관계보다는 설문 문항 자체의 질이나 효율성에 대한

점검을 주요 내용으로 한다.

1 . 배경 변인별 응답 분석

OE CD/ P ISA 예비검사에 사용된 배경변인 설문지는 총 4종으로 학생용 3종

과, 그리고 학교장용 1종이다. 학생용 설문지는 3종으로 각 설문지 유형마다

400여명의 학생들이 응답하였다. 학교 설문지는 표집된 학교에 1부씩 배포되었

는데, 30개 표집학교 전부가 응답을 하여 학교 설문지의 응답율은 100%로 나

타났다.

학생 설문지의 내용은 유형별로 약간씩 상이하기는 하지만 핵심 영역인 사회

경제적 배경에 대한 질문은 세 설문지에 공통적으로 들어 있다. 세 유형의 설문

지 들어있는 설문문항은 모두 47개(중복문항 제외)이다. 문항에 따라서는 소항

목들이 포함되어 있는 경우가 있으므로 학생들이 응답한 항목의 총 수는 200

여개에 이른다. 항목별 응답내용은 <부록 7>에 요약되어 있다.

학교 설문지의 설문문항은 28개이나, 각 문항에 소항목이 포함되어 있는 경

우가 많아 총 응답항목은 200여개에 이른다. 학교 설문지의 응답내용은 <부록

8>에 요약되어 있다.

- 154 -

2 . 배경 변인에 대한 비판적 검토

배경변인의 효율성은 일차적으로 학업성취의 차이를 설명하는데 기여할 수

있는가에 달려있다고 할 수 있다. 배경변인이 학업성취의 차이를 설명하기 위해

서는 설문문항에 대한 학생들의 응답내용이 다양해야 한다. 즉 인종적 배경이

학업성취의 차이를 설명하는데 기여하기 위해서는 응답자의 인종적 배경이 다

양해야 하며, 이러한 인종적 다양성이 학업성취수준과 일정한 패턴의 관련성을

나타내어야 하는 것이다. 만약 평가에 참여한 모든 학생이 동일한 인종적 배경

을 가졌을 경우, 인종적 배경은 학생들의 성취의 차이를 제대로 설명할 수 있는

배경적 변인이 될 수 없는 것이다. 이러한 기준에서 볼 때, 배경변인의 효율성

은 우선 각 문항에 대한 응답내용의 다양성을 통해 살펴볼 수 있다. 이 절에서

는 설문에 대한 응답 내용 면에서 다양성이 결여된 문항과 한국의 교육적 여건

과 부합되지 않는 내용의 문항을 비판적으로 검토하고자 한다.

학생들의 응답 내용을 살펴보면, 90% 이상의 학생들이 동일한 내용의 답변을

한 것들이 눈에 발견되었다. 예를 들어 학생 자신과 부모님의 출생지에 대한 질

문의 경우, 학생 자신과 부모의 출생지가 모두 한국인 경우가 99% 이상이며,

기타 한국 이외의 지역에서 출생한 경우는 1% 미만이었다. 이 경우, 학생들의

성취도 차이는 학생 자신이나 부모의 출생지에 의해 설명될 수 없다. 사실 이

문항은 단일 민족이며, 국가간의 인구이동이 빈번하지 않은 우리 나라에는 해당

되지 않는 것이다(표 VII-1 참조).

<표 VII-1> 학생과 부모님의 출생지

단위 : 명(%)

한국 기타 무 응답

학 생 1173(99.3) 8(0.7) 2(0.2)

어머니 1170(99.9) 1(0.1) 12(1.0)

아버지 1162(99.7) 4(0.3) 17(1.5)

이외에도 학생들의 응답내용이 획일적인 문항은 가정에서 사용하는 언어(부모

님, 자신 포함), 주당 수업 시간, 유급이나 월반 경험 등이 있었다 (표 VII-2, 3,

4, 5 6 참조). 이들 문항들은 다양한 인종과 민족을 대상으로 하는 OECD/ PISA라

- 155 -

는 국제평가의 견지에서 볼 때는 중요한 배경변인일 수 있으나, 한국적 상황에

서는 중요한 의미를 가질 수 없는 배경변인이라고 볼 수 있다.

<표 VII-2> 부모님이 가정에서 사용하는 언어

단위 : 명(%)

어 머니 아 버지

한국어 1168(98.7) 1159(98.0)

일본어 11(0.9) 35(3.0)

중국어 3(0.3) 9(0.8)

영어 4 1(3.5) 64(5.4)

기타 3(0.3) 5(0.4)

<표 VII-3> 다음과목의 주당수업시간

시간 평 균시간

국어 378 3

수학 379 4

과학(물리,화학,생물,지구과학등 포함) 366 4

영어 378 4

<표 VII-4> 유급당한 경험

단위 : 명(%)

있 다 없다 무응 답

1(0.3) 386(99.7) 7(1.8)

<표 VII-5> 월반해 본 경험

단위 : 명(%)

있 다 없 다 무 응답

9(2.4) 367(97.6) 18(4 .8)

<표 VII-6> 가정에서 사용하는 언어

단위 : 명(%)

한 국어 기타 무 응답

1174(99.2) 1(0.1) 8(0.7)

- 156 -

우리 나라에서 태어나 교육받고 생활하는 학생이나 성인들이 가정에서 사용

하는 언어는 당연히 한국어일 것이고, 수업이나 평가에서 사용하는 언어 역시

한국어일 것이다. 유급이나 월반의 사례가 많지 않은 상황에서 학년 단계별 이

동이 학생들의 성취의 차이를 설명하기는 어려울 것이다. 또한 학교 재량시간이

전혀 없는 것은 아니지만 교과목별 수업시간을 국가교육과정에 제시하는 상황

에서 학교에 따라 과목별 수업시간 수에 있어 큰 차이를 보일 수는 없는 것이

다. 결국 이들 문항들은 한국의 교육적, 문화적 맥락을 고려할 때 효율적인 배

경변인으로 간주하기가 어렵다.

배경변인 중에는 우리 나라의 상황과 맞지 않는 것들도 있었다. 첫째, 방과

후나 주말에 하는 활동으로 아르바이트 항목이 포함되어 있다. 우리 나라 만

15세아들은 대개 고등학교 1, 2학년에 재학 중인 학생들로 주말은 물론 주중에

도 아르바이트를 할 기회가 많지 않고, 설사 아르바이트를 한다 할지라도 합법

적인 취업을 하기가 어렵다. 이러한 측면에서 볼 때, 외국 학생들이 방과 후나

주말에 파트타임으로 일을 하는 상황과는 매우 다르며, 파트타임 취업의 내용과

종류 면에서도 상호 비교가 쉽지 않은 상황이다.

부모님이 숙제를 도와주는가 하는 질문 역시 우리 나라와 외국의 교육적 맥

락이 다르기 때문에 응답 내용의 해석에 유의할 필요가 있다. 숙제를 도와준다

는 것은 학부모가 그만큼 학생들의 공부에 관심을 보이고 지원한다는 의미를

조작적으로 해석한 것이다. 우리 나라에서는 대개의 경우, 학교에서 내주는 숙

제와 학교수업이 매우 밀접하게 연계되어 있기 때문에, 매일 매일의 학교 공부

의 진도와 내용을 파악하지 못하면 학부모가 자녀의 교육에 높은 관심을 가지

고 있다 해도 숙제를 도와주기가 어렵다. 자녀의 숙제를 도와주는 대신 자녀가

공부에 집중할 수 있는 학습 환경을 제공하는 것, 참고서나 학습지 등의 학습자

료를 사주는 것, 과외와 같이 학습을 도와 줄 수 있는 지원자를 제공하는 것 등

이 자녀에 대한 학습 지원의 한국적인 모형일 것이다.

OE CD/ P ISA는 학생들의 전학 여부와 공사립 학교간의 이동이 학생들의 성취

의 배경요인이 될 것으로 상정하고 있다. 그러나 우리 나라 고등학교의 경우,

공립과 사립 학교 간에는 설립 주체만 다를 뿐 학교의 교육과정 운영면에서는

크게 차이가 없다. 한국적 맥락에서 보면 공립 고등학교와 사립 고등학교의 구

분은 의미가 없는 것이다.

- 157 -

이상에서 제시한 문항들은 한국적 맥락을 고려하지 않은 것으로, 응답자인 학

생들로 하여금 상당한 이질감을 느끼게 하는 것으로 나타났다. 예비검사 시행과

정을 참관하였던 학교감독관들이 설문조사에 대한 학생들의 반응을 조사한 바

있다. 학교감독관들에 따르면 학생들은 설문조사의 항목이 한국적 상황에 맞지

않아 낯설게 느껴진다고 보고하였다.

OE CD/ P ISA라는 국제평가의 맥락에서 인종적, 언어적 배경 변인이 차지하는

중요성은 인정한다. 따라서, 인종 및 언어적 배경설문에 대한 한국 학생들의 정

서를 고려하여, 한국 학생을 대상으로 하는 설문지에는 이들 질문을 포함시키지

아니하되, 우리 나라 국민의 연령층별 출생지, 사용 언어 등에 대한 통계적 자

료를 OE CD/ P ISA측에 제공하여 전체 참여국을 대상으로 한 자료분석에서는 인

종 및 언어적 단일성이 학업성취에 미치는 영향을 분석할 수 있도록 하는 것을

하나의 방안으로 제안하고자 한다.

학생설문지에서 가장 문제가 된 것은 직업에 관한 문항이다. 설문지에는 부모

의 직업과 학생 자신이 장차 갖고 싶은 직업을 묻는 문항이 포함되어 있다. 이

들 질문은 선택형과 진술형의 두 가지 방식으로 제시되었는데, 하나는 국제직업

분류기준에 의한 12개 직업군 중 하나를 선택하도록 하였고, 다른 하나는 부모

님의 직업이나 자신이 갖고 싶은 직업을 직접 쓰도록 하였다. 설문지가 제시하

고 있는 국제직업분류기준은 우리 나라 노동부에서 사용하고 있는 직업분류기

준과 상당한 차이가 있을 뿐 아니라, 분류의 기준 자체가 우리 나라에서 일반적

으로 통용되는 것과 달라서 학생들이 응답하는데 많은 어려움을 겪었다.

부모님의 직업적 위상, 즉 직장에서 거느리는 하위 직원의 수 등을 묻는 문항

은 학생들이 대답하기에는 지나치게 구체적인 질문이어서, 응답 내용의 신뢰성

이 보장되기 어려울 정도이다. OE CD/ P ISA에서는 가사일에 전념하는 전업 주

부의 직업 코드를 무직으로 분류하였다. 무직으로 분류한다는 것은 곧 전업주부

의 사회경제적 지위가 낮다는 것을 의미한다. 이러한 인식은 여성의 사회 진출

이 당연시되고, 자녀 양육을 위한 사회적 지원제도가 잘 갖추어져 있는 서양사

회에서는 타당할지 모르나 한국적 상황에는 맞지 않다고 생각한다. 우리 나라

여성의 경제 활동 참여율은 다른 OE CD 회원국에 비해 상당히 낮은 편에 속하

는 것은 사실이지만, 그렇다고 해서 전업주부의 대다수가 직업을 구하지 못해

가정에 머물러 있는 것은 아니다. 자녀 양육에 전념할 수 있는 가정경제적 상황

- 158 -

자체가 그 가정의 사회경제적 지위가 높다는 것을 의미할 수 있다. 특히 자녀의

교육면에서 볼 때, 전업주부의 보살핌이 학생들의 성취에 긍정적인 역할을 한다

는 것을 부인하기가 어려운 실정이다. 또한 한국 주부 중에 가정에서 부업을 갖

고 재택 근무를 하거나 프리랜서로 일하는 경우가 많은데, OE CD/ P ISA의 직업

분류체계 상 무직자로 분류되고 있는 점 또한 학생성취와 부모의 사회적 지위

간의 관련성을 국가간에 비교하는데 걸림돌이 될 것으로 우려된다.

3 . 설문 문항과 성취 모형 요소들 과의 연 계

OE CD/ P ISA의 또 하나의 특징은 계획에 있어서의 철저함이다. 본검사 결과

를 토대로 성취도와 배경변인간의 관계를 어떻게 분석할 것인가에 대한 계획이

수립된 상태이며, 검사 결과가 나오면 준비된 보고서 초안에 숫자만 채워 넣으

면 완성될 수 있는 보고서 초안을 미리 준비해 놓고 있다.

OE CD/ P ISA 결과는 다양한 형태의 보고서를 통해 발표될 예정인데 현재까지

진행된 논의에 따르면, 보고서는 내용의 깊이와 독자의 성격에 따라 주요 결과

(In it ial Report ), 성취도와 배경변인(Un der lying Indicat or s), 그리고 주제별 심

층 분석 보고서(Them at ic Report )의 세 종류로 발간될 계획이다.

주 요 결 과 (In it ial Report )는 평가에서 밝혀진 참여국 학생들의 성취수준을

성적과 순위 중심으로 보고하기 위한 것으로, 자료 분석이 종료된 후 2개월 이

내에 발표될 예정이다. 주요 결과는 교육관계자 뿐 아니라 일반 대중들을 포함

한 폭넓은 청중을 대상으로 할 것이며, CNN 등 국제적 대중매체를 통해 결과

를 공개할 예정이다.

성 취 도 와 배 경 변 인 (Un der lying Indicat or s)은 학생의 성취수준과 배경변인

간의 관계를 국가별로 그리고 국가간에 분석하여 보고하고자 한다. 이 보고서는

성취와 배경변인 간의 관계를 분석하는데 그치지 않고, 교육의 개선을 위한 정

책적 대안까지를 제시할 계획이다.

주 제 별 심층 분 석 보고 서 (Them at ic Repor t )는 특정 주제에 초점을 맞추어

성취도의 배경이 되는 사회적 맥락과 변인들을 심층적으로 분석한 내용을 담게

된다. OE CD/ P ISA에서 계획하고 있는 심층분석 보고서의 주제는 총 8개인데,

주제의 내용은 사회적 배경, 성별, 학생의 포부와 동기, 교육체제, 학부모, 읽기

- 159 -

소양에 대한 국제적 프로파일로 매우 다양하다. 각 주제별 보고서와 분석의 주

요 내용을 정리하면 다음과 같다.

사 회 적 배경 과 성 취 수준

사회·경제적 배경과 성취수준

문화 및 사회적 재원과 성취수준

인종적 배경, 지역사회 및 성취도

사회적 배경이 성취에 미치는 순영향(n et effect) 분석

성 취 수 준 에 따 른 교 육서 비 스 제 공

우등생과 부진아에 대한 국제적 정의

부진아에 대한 국가별 정의

우등생과 부진아의 사회·경제적 배경 특성

우등생과 부진아가 처해진 교육체제적 특성

성 취 , 태 도 , 동 기 에 대한 남 녀 간 차 이

읽기 소양에 있어서의 남녀간 차이

태도, 노력, 기대에 있어서의 남녀간 차이

성과 사회적 배경간의 상호작용 효과

노 력 과 동기 : 성 취도 와 진 로 의 전 제 조 건

동기, 노력, 교육성취도와의 관계

학교 및 학교 프로그램별 동기와 노력의 차이

동기와 노력 국제비교

교 육 의 질과 평 등 과 관 련 된 학 교 변 인 들

문해소양에 있어서의 학교간 차이

계열과 성취도

학교 변인들과 학생 성취도와의 관계

학교 조직의 패턴

학 부 모 참여 도

학부모 참여와 교육성취도와의 관계

학부모 참여를 유도하는 학교 특성

문화권간 학부모 참여 비교

학 습 체 제 - 구 체 적 인 내 용 구 상 중

- 160 -

읽 기 소 양에 대 한 국제 적 프 로 파일

OE CD/ P ISA 읽기 소양의 정의와 범위

전반적인 읽기 소양수준

읽기 소양 vs. 수학, 과학 소양

15세 학생들의 읽기 소양 수준과 성인들의 읽기 소양 수준 비교

보고서의 주제와 내용과 더불어 설문지 내의 변인들이 주제별 보고서에 어떻

게 사용될 될 것인지에 대한 계획도 수립된 상태이다. <표 VII-7>은 학생과 학

교 설문지의 문항들과 주제별 보고서와의 연계 내용을 정리한 것이다. 표 안의

×표는 해당 문항이 주제별 보고서에 사용될 것임을 의미한다. 그 내용을 좀더

구체적으로 살펴보면 사회적 배경과 성취도와의 관계를 분석하는 보고서에는

동거인, 부모의 직업, 직장의 종류, 직장 내 위치, 출생지, 형제/ 자매의 수, 부모

와의 문화적·사회적 활동 참여 여부, 이사 빈도 등이 사용될 예정이다.

대개의 경우 학업성취와 관련된 배경변인 설문문항은 검사 문항과 병렬적으

로 개발되거나 검사 문항이 완성된 후 개발되는 것이 상례이다. 더욱이 설문조

사에서 얻어진 정보를 분석에 어떻게 사용할 것인가에 대한 논의는 검사가 시

행된 후에나 이루어진다. 그러나, 설문조사를 통해 수집된 자료는 지나치게 단

순하거나 정보의 내용이 분석에 사용할 수 없다는 것을 뒤늦게 깨닫게 되고, 이

로 인해 배경변인에 대한 정보가 유용하게 사용되지 못하고 사장되어 버리는

경우를 종종 경험하게 된다. 이러한 점에서 볼 때, OE CD/ P ISA는 시사하는 바

가 크다. 즉, 본검사용 설문문항이 완전히 확정되지 않은 현 시점에서 과연

OE CD/ P ISA의 결과가 어떤 형식으로 보고되어야 하는지를 미리 점검하고, 이

러한 보고서를 작성하기 위해서는 어떤 변인이 필요한 것인가를 철저히 계획해

두는 것은 정보의 효율적인 활용을 위해서 절대적으로 필요한 조치라고 할 수

있다. 앞으로 우리 나라에서 시행되는 국가 수준의 평가에서도 OECD/ PISA와 같

은 방식으로 배경변인 설문을 준비한다면, 우리 나라 교육의 개선에 더 유용하

게 사용될 수 있는 정보를 효과적으로 수집할 수 있게 될 것이며, 그 활용도를

더 한층 높일 수 있게 될 것이다.

- 161 -

- 162 -

- 163 -

- 164 -

V III . 연구의 요약 및 제언

이 장에서는 지금까지 기술한 OE CD/ P ISA 2차년도 연구 활동과 내용을 요약

하고 향후의 연구를 위한 제언을 첨가하였다.

1 . 연구 요약

국제학생성취도평가(Program for Int ernat ional Student Assessment : PISA)는

경제협력개발기구(Or gan izat ion for E con om ic Cooperat ion an d Developm ent :

OECD)가 주관하는 국제학력비교 평가연구로, 학생들이 미래지향적인 시민으로

살아가는데 필요한 읽기, 수학, 과학 성취수준을 평가하는데 주안점을 두고 있다.

OECD/ PISA는 각국 학생들의 성취수준을 국제적인 맥락에서 파악함으로써, 자

국 교육체제와 교수-학습 방법을 개선할 수 있는 정책적 시사점을 제공하는 것

을 목적으로 하는 정책 지향적 연구이다. 본 연구는 이러한 목적을 위해 읽기,

수학, 과학 영역의 평가문항과 이들 세 영역의 성취에 영향을 미치는 배경변인

들에 대한 자료를 수집·분석하였다.

1999년 10월 현재 이 연구에는 OE CD 회원국을 비롯한 세계 32개국이 참여

하고 있다. OE CD/ P ISA는 호주의 ACER, 네덜란드의 검사개발 전문연구소인

Cit o, 미국의 표집 및 자료분석 전문기관인 West at과 ETS, 그리고 일본의

NIER등으로 구성된 연구 연합체(Consor t ium)가 담당하고 있다.

OE CD/ P ISA는 다음과 같은 특징을 갖고 있다.

첫째, 읽기, 수학, 과학 영역의 교육과정과 교과서에 얽매인 정형화되고 인위

적인 문항에서 벗어나 실생활에서 접할 수 있는 다양한 상황을 배경으로 한 문

항을 사용한다는 것이다.

둘째, 읽기, 수학, 과학 영역간의 통합을 시도하고 있다는 점이다. OECD/ PISA

의 평가 문항은 읽기, 수학, 과학 외에 이 세 영역이 통합된 문항이 있다.

셋째, 의무교육의 종료시점인 만 15세 학생들을 평가대상으로 함으로써, 국가

- 165 -

교육체제의 누적적인 성과를 점검하고자 한다.

넷째, 평가를 위한 표집을 시행함에 있어 학급이나 학교가 아닌 개별 학생을

표집의 기본단위로 시행함으로써 학교간(between -sch ool var iance) 및 학교 내

(with in -school var iance) 학생 성취수준의 차이를 추정하고자 한다.

OE CD/ P ISA는 3년을 주기로 3차에 걸쳐 총 9년동안 지속되며, 1998년부터

2006년까지 세 번의 주기가 반복될 예정이다. 우선 첫 번째 주기의 첫 해인

1998년에는 평가의 방향과 평가틀을 개발하고, 예비 검사 문항을 개발하였다. 2

차년도인 1999년에는 전년도에 개발된 문항과 평가절차의 적합성을 점검하기

위한 예비검사가 실시되고, 2000년에는 본검사가 실시된다. 2001년에는 본검사

결과의 분석과 더불어 두 번째 주기가 시작된다. 첫 번째 주기와 유사한 방식으

로 세 번의 주기가 반복되는데, 첫 번째 주기에는 읽기가 주 영역이고 수학과

과학이 보조 영역이 되며, 두 번째와 세 번째 주기에는 수학과 과학이 각각 주

영역이 되고, 나머지 두 영역이 보조영역이 된다.

본 연구는 OE CD/ P ISA의 1주기에 해당하는 연구로, 1998년에 개발된 평가틀

과 문항들의 적합성을 점검하기 위한 예비검사와 그 결과의 분석활동을 통한

본검사용 문항선제 활동을 연구의 주 내용으로 하고 있다.

OE CD/ P ISA의 평가틀과 평가도구는 참여국과 OE CD/ P ISA의 연구연합체의

교과전문가와 평가전문가들의 협력적 연구에 의해 개발되었다. OE CD/ P ISA의

평가틀의 기본구조는 지식의 구 조나 내 용 , 문제해결의 과 정 , 지식이나 능력이

적용되는 상 황 등의 3개 기본축을 읽기, 수학, 과학의 3개 영역에 적용하여, 각

항목의 내용을 영역별로 구체화하였다.

읽기 평가틀에서는 읽기 소양을 개인의 지식과 능력을 개발하고 사회에 참여

하기 위해 글로 쓰여진 정보를 이해하고 활용하는 능력 으로 정의하고 있다. 읽

기 평가틀은 크게 본문의 상황, 본문의 형식, 읽기 능력의 유형을 중심축으로

하고 있다. 본문의 상황은 개인적, 공적, 직업적, 교육적 상황의 4가지로 나누고

있으며, 본문의 형식은 산문(cont inuous t ext)과 비산문(noncont inuous t ext)의 두

가지로 나누고 있다. 읽기 능력은 본문에 대한 전체적 이해, 본문으로부터 특정

정보를 추출, 본문 내용으로부터 추론, 일반적 지식을 이용한 논리적 고찰, 일반

적 지식을 이용한 비평적 고찰 등의 5가지 유형으로 설정하고 있다. OECD/ PISA

의 읽기 평가틀은 다양한 본문 상황과 여러 유형의 글을 제시함으로써 학생들

- 166 -

이 효율적으로 사고하고 활동하는데 필요한 읽기 능력을 측정하고자 하고 있으

며, 문제에 대한 답을 구하기 위해서는 본문의 내용 뿐 아니라 일반적인 지식을

활용할 것을 요구한다는 점에서 통합교과적 요소를 포괄하고 있다고 볼 수 있

다. 또한 세계 30여 개국으로부터 수집된 평가 문항들을 통해 여러 나라의 다

양한 가치관, 풍습, 이슈들을 접하게 되므로 평가 자체가 학생들에게 귀중한 경

험이 될 수 있다는 측면에서 유용한 평가틀이라고 볼 수 있다.

수학적 소양은 개인이 건설적이고 사려깊고, 반성적인 시민으로 살아가는데

있어 세상의 문제를 해결하는데 있어 수학이 차지하는 역할을 확인, 이해, 판단,

실행할 수 있는 능력 으로 정의된다. 수학 평가틀은 능력 과 핵심 아이디어 라는

축과 내용 요소 와 상황과 맥락 이라는 두 축을 중심으로 구성되어 있다. 이 두

개의 축은 서로 교차하는 것이 아니라 상호 중복되면서 상보적인 역할을 한다.

수학적 능력은 크게 세 수준으로 나누어진다. 1수준은 단순한 수학적 대상이나

성질을 기억해 내고 동치인 것을 인식하거나, 정형화된 알고리듬을 통해 기계적

인 계산을 수행할 수 있는 수준이다. 2수준은 간단한 실생활 문제를 해결하기

위하여 수학의 여러 영역과 주제들을 연결시키고, 다양한 수학적 표상을 다룰

수 있으며, 정의, 주장, 예제, 조건, 증명 등의 진술을 구별할 수 있는 수준을

말한다. 3수준은 통찰을 통해 문제의 상황에 내재해 있는 수학을 인식하여 수학

화하고, 도출된 답을 문제의 맥락에 비추어 반성하는 능력과, 문제를 해결하기

위하여 분석, 해석, 증명, 일반화하고 다양한 방식으로 의사소통하는 능력을 포

함한다.

과학적 소양은 우리 주위의 자연과 인간의 활동에 의한 자연의 변화에 대해

이해하고 결정을 내리는 데 도움을 주기 위하여 과학 지식뿐만 아니라 증거를

바탕으로 결론을 도출해 내는 능력 을 의미한다. 과학 평가틀은 탐구, 개념/내용

및 과제의 상황 등 3축을 중심으로 설정되었다. 탐구란 자연에서 나타나는 과학

적 현상을 이해하거나 이에 관한 지식을 얻기 위해 증거나 자료를 이해하고 해

석하고 이용하는 데 사용되는 정신적 혹은 신체적인 활동을 말한다. 개념이란

우리가 이미 알고 있는 것과 연결시켜 새로운 경험을 이해할 수 있는 큰 생각

(b ig idea)'을 말하며 과학 개념을 통해 자연과 인간이 만든 세계를 이해하게 된

다. 과학 지식이나 탐구 능력은 상황을 제시한 후 평가하게 된다. OE CD/ P ISA

에서는 과학적 소양 의 측정, 다시 말해 학교에서 배운 기능과 지식을 생활에

- 167 -

적용하는 능력을 측정하기 위해 학교에서의 상황이 아닌 일상 생활에서 접하는

상황을 강조한다.

OECD/ PISA의 평가틀의 성격을 국제학력비교평가의 발전 동향의 맥락에서 이해

하기 위해 국제수학 및 과학성취도평가(FIMS, FISS, SIMS, SISS, TIMSS), 국제

성인문해력 평가(IALS), 국제교육향상평가(IAEP) 등의 주요 국제학력비교평가

연구에서 사용한 평가틀을 살펴보고, 이들과 OE CD/ PISA의 평가틀의 차이점과

공통점을 분석하였다. OE CD/ PISA 읽기 영역의 평가틀은 산문 문해력과 각종

문서를 읽고 활용하는 능력, 그리고 수리적 문해 능력 등으로 구성된 국제성인

문해력평가와 더불어 읽기 소양을 평서문을 읽는 능력에서부터 수리적, 과학적

사고력의 영역으로 확장시키려는 노력에 있어 맥을 같이 하고 있다고 볼 수 있

다. 수학 영역의 경우, 국제수학 및 과학 성취도 평가에 비해 교과 내 지식의

범위를 벗어나 실생활에서 문제를 해결하는데 수학적 지식을 효율적으로 활용

하는 능력, 즉 고등사고능력을 더 강조하고 있다고 볼 수 있다. 과학 영역의 경

우도 수학과 마찬가지로 단순 정보 이해보다는 지식의 활용 능력을 강조하고

있는데, 특히 과학적 의사소통능력을 강조하는 것이 기존의 국제학력비교평가와

는 차별화된다고 볼 수 있다.

OE CD/ P ISA의 평가문항은 참여국으로부터 제공받거나 네덜란드의 검사개발

연구소인 Cit o가 자체 개발하는 방식으로 개발되었다. 참여국과 연구연합체의

수정 보완을 거쳐 예비검사에 사용된 문항은 읽기 354문항, 수학 99문항, 과학

104개 문항이었다. 읽기 영역의 문항이 수학이나 과학에 비해 상대적으로 많은

것은 제1주기에서는 읽기 능력평가에 가장 큰 비중을 두고 있으며, 수학과 과학

이 보조 영역으로 설정되어 있기 때문이다. 이들 문항들은 9종의 검사지에 분리

배정되었다.

OE CD/ P ISA에서는 학생의 성취결과뿐 아니라 성취에 영향을 미치는 배경변

인들에 관심을 두고 있으며, 특히 이들 배경변인들과 성취도와의 관계가 국가별

로 차이를 보이고 있는지를 파악하고자 한다.

학생의 성취에 영향을 미치는 배경변인 설정을 위한 개념틀(conceptual framework)

을 OE CD/ P ISA, TIMSS, NAEP의 사례를 중심으로 살펴보았다. TIMSS나

NAEP에 사용된 배경변인의 개념틀과 마찬가지로 OE CD/ P ISA의 개념틀 역시

학생의 성취를 학생 개인의 특성에 기인하는 종속변인이라기 보다는 국가교육

- 168 -

체제의 성취지향적 특성, 학교의 특성 및 여건, 교수-학습 과정 등의 배경변인

들과의 상호작용으로 간주하고 있다.

OE CD/ P ISA의 배경변인 설문지는 학생과 학교를 대상으로 하고 있다. 학생

들로부터는 가정경제적 배경, 교수-학습관련 배경, 경제적, 문화적 자산의 보유

정도, 자기주도적 학습능력, 컴퓨터 관련 정보기술 친숙도 등을 파악하였다. 학

교 질문지는 학교의 여건, 의사결정의 구조, 인적, 물적 자원 보유정도, 학교의

주변 여건 등에 대한 문항을 포함하였다. OE CD/ P ISA의 평가도구는 한국어로

번역되었고, 번역의 과정에서 지명, 인명, 계절적 상황, 학제 등을 한국적 상황

에 맞게 번안하였다.

OE CD/ P ISA 검사도구의 적합성과 평가 설계의 실행가능성을 점검하기 위한

예비검사가 1998년 4월 15일에서 4월 21일에 걸쳐 국내에서 실시되었다. 예비

검사를 위한 표본의 선정은 두 단계의 과정을 거쳤다. 첫째, 지역, 성별, 학교

유형(일반계, 실업계)을 고려한 유층비례표집방법을 통해 전국의 30개 고등학교

를 선정하였다. 둘째, 표집된 학교의 학생 중 1983년 1월 1일에서 12월 31일

사이에 태어난 만 15세 학생들의 명단을 표집학교로부터 접수받아, 각 학교 당

40명의 학생을 무작위로 선정한 결과, 국내 표본의 규모는 약 1,200명에 달하

였다. 시험은 인지검사에 120분, 설문지에 35분, 그리고 시험에 대한 안내 및

지시 사항 등을 포함하여 3시간에 걸쳐 실시되었다. 표집된 1,200명 중 결시생

은 17명으로 결시율은 1.2%에 불과하였다.

OE CD/ P ISA는 표준화검사이기 때문에 검사시행의 절차와 여건에 있어 국가

별 차이를 최소화하는 것이 필요하다. 검사절차의 표준화를 위해 OE CD/ PISA

에서는 학교감독관(Sch ool Quality Monit or : SQM)을 선정하여 검사시행 과정

을 참관하도록 하였다. 우리 나라의 경우 3명의 학교 감독관이 5개 표집학교의

검사시행을 참관하였으며, 이를 통해 검사의 전반적인 절차를 점검하였다.

OE CD/ P ISA 예비검사 문항은 선택형, 짧은 단어나 문장으로 구성된 서술형

문항 그리고 좀 더 긴 문장으로 구성된 서술형 문항 등 여러 종류의 문항을 포

함하고 있다. 이 중에서도 주관식 문항의 비율이 매우 높았는데, 읽기의 경우

전체 문항의 45%가 주관식 문항이었다.

학생들의 답안을 채점하기 위해 11명의 채점자를 선정하여 연수하였다. 채점

자 중 7명은 고등학교의 국어 및 영어 교사로 읽기 문항의 채점을 담당하였고,

- 169 -

4명은 대학원생으로 수학과 과학 문항의 채점을 담당하였다. 채점자간의 일관성

을 점검하기 위해 전체 답안지의 약 38%를 복수의 채점자(4명)가 채점하였다.

예비검사 결과분석은 호주의 ACER에서 송부된 문항분석 보고서와 한국 내

교과전문가의 문항 및 채점기준의 적합성 검토를 중심으로 실행되었다. 예비검

사의 목적이 개발된 문항의 적합성을 점검하기 위한 것인 만큼, 문항 수준의 분

석에 초점을 두었다.

문항분석은 문항의 난이도, 변별도, 모형적합도(Infit MN SQ), 답지반응율 분

포 등을 중심으로 실시되었다. 문항의 난이도 수준은 영역별로 약간씩 달랐는

데, 읽기의 경우는 정답율이 비교적 높았으며, 과학 문항의 난이도는 적정 수준

인 0.4∼0.6의 범위를 유지한 반면, 수학 문항은 대체적으로 어려운 것으로 나

타났다. 모형 적합도는 학생들의 반응이 문항반응이론에서 설정한 반응모형과

일치되는 정도를 나타내는 것으로 정상적인 문항은 0.6∼1.2 정도의 Infit지수를

갖는다. 이 범위를 벗어난 문항은 총 11개였는데, 대부분 In fit 지수가 1.3 이상

이었다. Infit 지수가 1.3 이상인 문항은 능력이 높은 것으로 추정되는 학생이

오답을 제공한 패턴이 두드러진다는 것을 의미한다. 이러한 문항들은 대부분 0

또는 음수의 변별도 지수를 갖는 것으로 나타났다. 이러한 문항들을 영역별, 그

리고 문항형태(주관식, 객관식)별로 분류해 본 결과, 뚜렷한 패턴이 나타나지 않

았다. 문항의 내용 분석을 통해서 모형적합도나 역변별의 원인을 살펴보았다.

문항에 따라서는 성별, 문화적 배경에 따라 차별적 기능을 하는 문항들이 존

재한다. 예비검사 분석 보고서에는 성별에 있어서의 문항차별기능을 분석하였

다. 통계적으로 유의미한 차별기능을 하는 문항은 총 40개로, 그 중 읽기가 25

문항, 수학 4문항, 과학 9문항, 그리고 통합 2문항이었다. 모형적합도의 경우와

마찬가지로, 문항의 형태나 내용 영역에 따른 차별적 기능의 패턴은 찾아보기가

어려웠다. 이러한 문항의 특이성은 본검사용 문항을 선제함에 있어 유념해야 할

고려사항이다.

경험적 자료에 의한 정량적 분석과 더불어 국내에서는 교과전문가들에 의한

문항검토 작업이 진행되었다. OE CD/ PISA 문항이 우리 나라 학생들에게 적합

한 문항인지를 검토하기 위해 ① 교육과정과의 연계성, ② 문항형태나 과제의

친숙도, ③ 만 15세 학생의 흥미나 관심도, ④ 문화적 편파성, ⑤ 남녀 차별적

기능, ⑥ 기타 편파성의 문제, ⑦ 번역 오류에 따른 기술적 문제, ⑧ 출제 의도

- 170 -

의 명료성, ⑨ 채점기준의 문제, ⑩ 본검사 포함 우선 순위 등의 준거를 설정하

였다. 이상의 준거를 이용하여 각 항목별로 1∼4점 척도를 이용하여, 매우 적절

할 경우에는 4 로 적절하지 않은 경우에는 1 로 평정하도록 하였다.

읽기 문항에 대한 검토 결과 본문 종류 중에서 비산문(noncont inuous t ext)에

해당하는 챠트, 그래프, 표, 개략도, 지도, 광고 등은 우리 나라 국어 교육에서

많이 다루지 않는 제재들로 구성되어 있어 교육과정과의 연계성 부문에서 상당

히 낮은 평정을 받았다. 또한 지문에 소개된 상황이나 소재가 동양권 학생들에

게 생소한 것들이 다수 포함되어 있는데, 학교교육이나 실생활에서 직접 경험하

지 못한 내용들에 대한 생소함이 성취도에 부정적인 영향을 미칠 우려가 있다

는 지적이 있었다.

수학 문항에 대한 검토 결과 수학 교과 자체의 특성 상 문화적 편파성이 개

입될 우려는 그다지 높지는 않은 반면, 수학 문항의 제재가 남성지향적인 것이

상당수 있어 문항의 남녀차별기능에 대한 우려가 있었다. 수학 문항이 다루고

있는 내용이나 기능들은 대부분 우리 나라 중학교 과정에 포함된 것으로 교육

과정과의 연계성면에서도 심각한 문제는 없을 것으로 판단되었다. 그러나

OE CD/ P ISA의 수학 문항들은 대개 구체적인 실생활 맥락에서 전개되고 있는

데, 이러한 문항이 우리 나라 학생들에게는 생소한 경향이 있다. 또한 우리 나

라 학생들이 받아온 평가에서 서술형 문항의 비율이 낮기도 하지만, 서술형 문

항이라도 할지라도 정해진 알고리즘에 따라 답을 구하는 문항이 주류를 이루기

때문에, 답을 구한 과정을 명시적으로 설명하거나 그래프를 해석하는 문항을 해

결하는데 어려움을 겪은 경향이 있다.

과학 문항의 검토 결과 문화적, 성별에 대한 편견은 거의 나타나지 않는 반

면, 우리 나라 과학과 교육과정과 관련성이 적거나 15세 학생들에게 친숙하지

않은 내용이 많은 것으로 나타났다. 이는 우리 나라 교육과정에서 거의 다루고

있지 않은 생명 건강 과학과 환경 과학에 관련된 문항이 다수 포함되어 있을

뿐만 아니라 일상 생활이라는 상황과 과학 지식을 연결하는 능력을 요구하는

생소한 문항이 많이 도입되었기 때문으로 판단된다. 또한 문항의 형식에 있어서

는 주관식 문항의 경우 우리 나라 15세 학생들에게 익숙하지 않은 수행 평가형

문항이 많았다.

우리 나라가 OE CD/ P ISA 연구에 참여하는 목적 중의 하나는 최신의 평가기

- 171 -

법을 사용하는 국제학력평가연구에 참여함으로써 평가 관련 기술을 축적하고,

이를 국내평가에 활용하려는 것이다. 1999년의 연구활동은 개발된 문항의 적절

성을 점검하는 것에 초점을 두었으므로, OE CD/ P ISA 평가 문항이 우리 나라의

국어, 영어, 수학, 과학의 교육과정, 교수-학습, 평가에 주는 시사점을 도출하였

다. 국어의 경우 실생활과 연관된 제재를 읽기 교육에서 좀더 폭넓게 다루어질

필요성과, 읽기 교육을 통해 글의 내용에 한정된 이해나 추론 능력을 넘어서서

비판적으로 분석하고, 자신의 입장이나 관점을 정립하는 능력을 함양하도록 읽

기 교육의 영역을 확장할 것을 제안하였다.

수학의 경우, 우리 나라의 교육과정과 교과서가 강조하는 있는 것은 대개 수

학적 개념의 이해나 계산 능력의 신장이기 때문에, 우리 나라 학생들은

OE CD/ P ISA의 수학 문항에서 주로 요구하는 실생활 맥락의 문제해결력이라는

측면에서 취약점을 지닌다. 1980년대 이후 수학 교육과정과 교과서가 표방해

온 것이 수학적 문제해결력의 신장이라고 할 수 있으나, 아직도 구호 수준에서

그치고, 충분히 강조되지 못하고 있는 경향이 있다. 따라서 실생활 상황을 중심

으로 전개되는 문제에서 적절한 수학적 개념을 선택하는 능력, 수학의 제 영역

에 대한 수학적 지식을 종합하고 활용하는 능력, 수학과 타 교과의 연계성을 이

해할 수 있는 능력 등을 신장시키는 것이 필요하다. 특히 논리적 사고력, 창의

적 문제해결력, 의사소통 능력, 비판적 사고력 등 소위 수학에 있어서의 고등사

고능력이라고 할 수 있는 것들을 종합적으로 요구하는 평가 문항을 지향해 가

는 것이 필요할 것이다.

과학의 경우 탐구 능력보다는 지식에 치우친 우리 나라 중등 학교 과학 교육

에 시사하는 바가 크다. 특히 의사 소통, 문제 해결 등 상위 탐구 능력을 측정

할 수 있는 방법을 적극적으로 도입할 필요가 있다. 또한, 초등학교에서는 어느

정도 이루어지고 있으나 중등 학교에서는 거의 이루어지고 있지 않은 실생활의

상황 도입을 통한 과학 교육 평가의 바람직한 예를 보여주고 있는 것도 주목할

만하다.

2 . 제언

OE CD/ P ISA는 계속 연구로 향후에도 수행해야 할 활동들이 많이 남아 있다.

- 172 -

향후의 연구와 관련하여 몇 가지 사항을 제언하고자 한다. 첫째, OE CD/ P ISA는

국가적으로는 중요한 사업이지만 학생 개인의 입장에서는 고부담 평가가 아니

다. 더욱이 표집 학교의 입장에서 볼 때 학교 내 학생 중 만 15세에 해당하는

학생 전원에 대한 생년월일, 반, 성별 등의 정보를 담은 자료를 작성하여 제공

해야 하는 부담을 지게 된다. 평가결과를 통해 참여국 학생들의 성취수준을 제

대로 비교하기 위해서는 무엇보다도 학생들의 진지한 참여가 요구된다. 이러한

점에서 표집된 학생들과 학교의 자발적인 참여를 유도할 수 있는 방안이 교육

부 차원에서 마련되어야 한다고 본다.

둘째, 국제학력비교평가에 참여하는 주요 목적 중의 하나가 평가와 관련한 기

술을 축적하여 이를 국내평가에 활용하려는 것이었다. OE CD/ P ISA가 가장 강

점으로 내세우고 있는 것이 수행 위주의 평가 문항, 즉 실생활 상황과 매우 근

접한 상황에서 여러 교과에서 배운 지식을 통합적으로 활용하는 능력을 측정할

수 있는 문항을 사용하는 것이다. 그러나 OE CD 측에서는 평가 결과의 신뢰성

과 타당성을 확보하기 위해 평가문항을 공개하는 것을 엄격히 제한하고 있다.

평가문항의 보안을 강조하는 OE CD의 입장과 OE CD/ P ISA에 사용하는 문항을

국내에 소개하고 널리 보급하고자 했던 연구진의 의도가 상충되는 상황이 발생

된 것이다. 참여국으로서의 의무를 준수하는 동시에 연구진의 목적을 달성할 수

있는 방안으로서 OE CD/ P ISA의 문항의 특성과 평가틀의 내용을 바탕으로 이와

유사한 문항을 국내 연구진이 자체적으로 개발하여 그 적용 가능성을 현장교사

들과 함께 논의함으로써 새로운 평가 사례를 소개하는 방식을 제안하고자 한다.

셋째, OE CD/ P ISA 연구진은 개인적 자격으로서가 아니라 한 국가의 공식적

인 대표의 자격으로 의견을 개진하게 된다. 따라서 각 연구진이나 국가연구책임

자는 국내의 교과 전문가와 평가 전문가, 교육 행정가들과 OE CD/ P ISA가 제안

한 사안들에 대해 협의하고 의견을 수렴하는 작업을 부단히 수행해 나가야 한

다. 특히 교과에 있어서는 교과전문가, 현장 교사들로 구성된 국내전문가협의체

(Nat ional Exper t Gr oup)를 구성하여, 이들과 함께 문항을 검토하고, 결과를 분

석하며 국내 적용 방안을 강구할 필요가 있다.

넷째, 지난 2년 동안 진행한 연구는 2000년에 실시될 본검사를 성공적으로

수행하기 위한 준비 과정이었다고 할 수 있다. 다시 말해, OE CD/ P ISA는 본격

적으로 2000년도에 시작된다고 해도 과언이 아닐 것이다. 2000년에 진행될

- 173 -

OECD/PISA 국내 연구진은 본검사 실시 와 결과 분석 이라는 시행과 연구의 두

가지 사항을 모두 소홀히 할 수 없는 매우 중요한 부분을 담당하게 될 것이다.

본 보고서에서 여러 차례 언급한 바 있는 OE CD/ P ISA가 우리 나라 교육에 주

는 중요한 시사점을 상기한다면 향후 본 연구는 지금까지보다 더 많은 관련 전

문가, 즉 교육 평가 전문가들을 비롯하여, 읽기, 수학 및 과학 교육 관련 전문가

들의 폭넓은 협조와 관심이 필요하다. 이들 관련 전문가들의 참여를 확장하는

다양한 방안이 강구될 필요가 있다.

다섯째, 국내의 평가 및 교과 교육 관련 전문가들은 OE CD/ PISA에 직·간접

적으로 깊숙이 참여하고 있다4). 이들 전문가들은 국내에서 이루어지는

OE CD/ P ISA는 물론이고 우리 나라의 입장을 대변하는 것을 넘어 각자 참여하

고 분야에서 전문성을 발휘하며 OE CD/ P ISA가 성공적으로 수행되는 데 크게

기여해오고 있다. 이렇듯 우리 나라의 전문가들이 과거의 어떤 국제 비교 연구

에서보다도 국제 무대에서 적극적으로 참여할 수 있게 된 것은 새로운 연구 방

법과 절차 등을 직접적으로 체득할 수 있는 기회를 가진다는 점에서 큰 수확이

라고 할 수 있다. 특히, OE CD 회원국들 중에서 가장 적은 분담금(전체 연구

예산의 1.7%)을 지불하고 이 연구에 참여하고 있으면서 평가나 교과 교육 전문

가들이 실제 연구의 방법과 절차에 대한 결정을 생생하게 체험하고 의사 결정

에 영향력을 행사하고 있다는 점에서 이 연구는 적은 비용으로 큰 효과를 얻는

연구임에 틀림없다. 따라서, 이들 전문가들의 P ISA 참여 경험을 바탕으로 우리

나라의 각종 성취도 연구를 비롯한 교육 관련 연구에 큰 도움을 줄 수 있을 것

으로 기대된다.

4) OECD/ PISA의 한국 국가연구책임자인 한국교육과정평가원의 노국향 박사를 비

롯하여 수학교과 전문가 위원회에는 충북대학교의 박경미 교수가, 과학교과 전문

가 위원회에는 한국교육과정평가원의 신동희 박사가 각각 일원으로 참여하고 있

다. 한편 OECD/ PISA에는 한국교육과정평가원의 채선희 박사가 참여하여 활발하

게 의견을 개진하고 있다.

- 174 -

참 고 문 헌

교육부(1997), 고등학교 교육과정(I) [별책 4].

교육부(1998), 교육통계연보.

김광해, 윤여탁, 김중신, 김창원, 심영택(1998), 초등용 사고력 신장 프로그램의

이론적 배경 : 국어교육과 사고력, 서울대학교 교육종합연구원 국어교육

연구소 학술 심포지엄 자료집.

김대행(1997), 영국의 문학교육: 평가를 통한 언어와 문학의 투시, 서울대학교

교육종합연구원 국어교육연구소, 국어교육연구 제4집.

김명숙, 노국향, 박정, 부재율(1998). 국가수준 교육성취도 평가 방안 연구.

한국교육과정평가원.

김승호(1999). 열린교육의 전개방법으로서의 통합교과. 교육학 연구 제37권 2호.

김성숙, 임찬빈, 이춘식, 유준희, 서동엽 (1998). 제3차 수학·과학 성취도 국제

비교 반복 연구 중간보고서(미출판). 한국교육과정평가원.

김종건, 권낙원, 박영우, 이상혁, 권재숙, 조난심, 이종원, 김재형, 최병순, 최용

규(1996). 통합교과의 교육과정·교과서 구조 개선 연구. 교육과정 개정 연

구위원회.

이인제, 정구향, 천경록, 이도영, 유동엽, 박종운, 정소휘, 서유경(1997a), 제7차

국어과 교육과정 개발 연구, 한국교육개발원.

이인제, 정구향, 천경록, 이도영, 김창원, 이성영, 심영택, 김신영, 채선희

(1997b), 창의력 신장을 돕는 중학교 국어과 학습 평가 방법 연구, 한국교

육개발원.

임형, 박경미, 신동희, 부재율, 박정 (1998). 교육성취도 국제비교연구:

OE CD/ P ISA. 국내 연구보고서(미출판) 한국교육과정평가원.

임형, 부재율, 박경미, 신동희, 박정 (1998). 제3차 수학·과학 국제 비교 반복

연구. 국내 보고서(미출판) 한국교육과정평가원.

최미숙(1998), 국어교육에서의 평가, 국어교육연구 제5집, 서울대학교 교육

종합연구원 국어교육연구소.

최미숙(1999a), 문학교육과 수행평가, 문학과 교육 제7호, 문학과교육연구회.

최미숙(1999b), 국어과 수행평가 정착방안, 수행평가 현장 정착을 위한 세미나

- 175 -

자료집. 한국교육과정평가원.

최영희(1999), 중학교의 독서교육과 독서 평가, 독서 연구 제4호, 한국독서학회.

한국교육과정평가원(1999a). OECD/ PISA 예비검사를 위한 시험 감독관 지침서.

한국교육과정평가원(1999b). OECD/ PISA 예비검사를 위한 학교 책임자 지침서.

Baker , D. P ., & J ones, D. P(1993). Creat ing Gender Equality : Cross-Nat ional

Gen der Strat ificat ion and Mathem at ical P erform an ce. Sociology of

E ducat ion , 66.

Calderone, J ., King, L. M., & Horkay(1997). T he N AEP g u ide: A d escrip tion

of the con ten t an d m ethod s of th e 199 7 & 1998 A ssess m en ts .

Revised E dit ion . NCE S, #97990 .

Candell, G. L., & Ercikan, K. (1992). Assessing the reliability of the Mary land

S chool Performan ce A ssessmen t P rog ra m us ing g en era liza bility theory .

P aper presen t ed at the annual m eet ing of th e Nat ional Council on

Measurem ent in E ducat ion , San Fr ancisco.

Fen sham , P . & Harlen , W. (1999). Th e new approaches for scien t ific

lit er acy. Int ern at ional J ourn al of Scien ce E ducat ion , 42(4).

Freidenthal. H. (1983). D idactica l Phenom en ology of M a thema tica l S tructu re.

D. Reidel Publish ing Company.

Hieber t , J .(1986). Con cep tua l an d P roced u ra l K n ow ledg e: T he Case of

M athema tics. Lawrence Erlbaum Associat es Publisher s. Hillsdale, NJ .

IEA/ TIMSS/ ICC 200(1991). T he T h ird In tern a tion a l M a them a tics an d

S cien ce S tudy : P roj ect Overview . Vancouver . Canada : Auth or .

IEA(1996). Th ir d Int ernat ional Math em at ics an d Science Study Techn ical

Report Volum e I, Cent er for th e Study of Test ing, Evaluat ion , and

E ducat ion al P olicy, Bost on College.

OECD(1997). Lit eracy Skills for the Knowledge Society. OECD Publicat ions.

OE CD(1998). Quest ionnair e Fr am ework . OE CD Publicat ions.

OE CD(1999). M easu ring s tud en t kn ow ledg e an d sk ills : A n ew f ra m ework

f or assess m en t. OE CD Publicat ions .

- 176 -

TIMSS(1998). M an ua l f or In tern a tion a l Qua lity Con trol M on itors. TIMSS-R

Doc. No 98-0023.

T.L. Har r is, R.E . H odges ed(1995)., T h e L iteracy D ict ion a ry , Int ernat ion al

Reading Associat ion .

Tr aub , R. E . (1993). On the equ ivalen ce of the tr a it s a ssessed by

mult iple-ch oice and con struct ed-r esponse t est s. In R. E . Bennet t (ed.),

Con s truction vs. choice in cog n itive measu remen t: I ssues in con structed

resp onse, p erforman ce testing, and p ortfolio assessm en t (pp . 63-100).

H illsdale, NJ : Lawr en ce Er lbaum Associat es.

Tr effer s. A. (1987). T h ree D im en s ion s . D. Reidel Publish ing Company.

Um , K. (1995). S a mp ling eff ects of w rit ing top ics an d d iscou rse m od es on

g en era liz a bility of in d iv id ua l an d sch ool w riting p erf orm an ce on a

s tan d a rd ized fou rth g rad e w riting assess m en t . Unpublish ed Doct oral

Dissert at ion . F lor ida St at e Univer sity.

Wa gem aker , H ., K., T., Munck , I ., Kont ogiann opou lou -P olydor ides, G., &

Mart in , M. (1996). Are Girls bet t er r eader s? Gender Differ ences in

r eading lit er acy in 32 countr ies. In H . Wah em aker (E d.). Am st er dam

: Internat ional Associat ion for the Evaluat ion of Educat ional

Ach ievement .

Ward, W. C., Dupree, D., & Carlson , S. B. (1987). A comp a rison of

f ree-resp on se an d m u ltip le-choice ques t ion s in the assess m en t of

read ing comp rehen s ion (RR-87-20). Pr incet on , NJ : E ducat ional

Test in g Service.

Wh it e, S. (1994). Focu s on N A E P : 1994 N A E P T eacher B ackg roun d

Ques t ion n a ire. NCE S #94666 .

- 177 -

AB ST R A C T

OE CD/ P ISA: A re p o rt o n f ie ld t ria l in Ko re a

R o K o o g h y a n g

J in K y u n g a e

K im Wa n g k y u

S h in D o n g -H e e

P a rk K y u n g -M e e

M in Su n -Yo u n g

OECD/ PISA stands for Program for Internat ional Student Assessment(PISA)

init iated by Organizat ion for Economic Cooperat ion and Development .

OECD/PISA is an internat ional collaborat ion approach to measuring student

performance in 32 countries including OECD member countr ies. The study is

designed to include three main surveys to assess student performance in

reading literacy, mathemat ic literacy and scientific literacy and to collect data on

contextual variables that are presumed to affect student performance. Main

surveys will be conducted in every three years start ing in 2000. Development of

assessment framework, survey instrument and implementat ion of field tr ial

precede the main survey in each cycle.

OECD/ PISA is unique in that (1) it attempts to measure skills that are

required for real life; (2) it pursues to evaluate integrated competency across

subject areas; (3) it aims at checking the cumulat ive effects of school educat ion

by test ing students at the end of compulsory educat ion; (4) it employes

individual student as sampling unit to est imate within -school variance as well as

between-school variance; (5) it adopts age-based sampling method.

- 317 -

A field trial was conducted in Korea during April 15 through 21 to check the

adequacy of cognit ive test items, contextual variables, and the test administration

procedures. A sample of 1,200 students part icipated in the field tr ial. Student

responses were coded by 11 markers and analyzed by Australian Council for

Educational Research(ACER).

Analyses on the field tr ial data focused on the item-level analysis, producing

indices such as item difficulty, discrimination, Infit MNSQ, and different ial item

funct ioning(DIF). Overall, items used for the field tr ial were of good quality,

except for some items which showed low level of discriminat ion and poor fit to

the item response model.

Statistical item analysis was accompanied with item review by subject matter

experts. The criteria for item review are ①curriculum coverage, ②familiarity, ③

interest level to 15 year olds, ④concerns for cultural bias, ⑤concerns for gender

bias, ⑥other concerns, ⑦translation errors, ⑧question intent, ⑨problems with

marking guides, ⑩priority for inclusion to the main survey.

Reviews by subject matter experts reveal there are some cultural concerns and

unfamiliar ity problems due to the gap between the school curriculum and life

skills. Caution should be exercised to guard the cultural bias in the process of

items select ion for the main survey. The report concludes with implicat ions of

OECD/PISA to Korean educat ion in terms of curriculum, instruction and

assessment in Korean, English, math, and science.

- 318 -