Киселева Валентина Петровна НИИ Мониторинга качества...

Педагогический анализ результатов Интернет-экзамена и его

использование при проведении процедуры самообследования образовательного учреждения

Киселева Валентина Петровна

НИИ Мониторинга качества образования

Москва, февраль - 2009

Педагогический анализ – основополагающий компонент системы педагогического менеджмента, обеспечивающий реализацию диагностической и прогностической функций управления образовательным процессом в вузе.

Сущностные характеристики педагогического анализа результатов тестирования:

тематический анализ как основа разработки АПИМ параметрический анализ как основа оценки качества

подготовки студентов

Результаты тестирования студентов в рамках Интернет-экзамена в сфере профессионального образования (декабрь 2008 г. - январь 2009 г.) представлены в виде:

• Краткого отчета по результатам тестирования • Информационно-аналитической карты

«Педагогический анализ результатов тестирования студентов на основе дисциплинарного (полидисциплинарного) подхода»

Краткий отчет по результатам тестирования студентов

• Сводная таблица выполнения требований ГОС для ООП вуза (показатели освоения каждой отдельной дисциплины)

• Рейтинг-листы студентов ООП вуза по дисциплине (процент правильно выполненных заданий в АПИМ, процент освоенных ДЕ дисциплины)

Показатели выполнения требований ГОС для ООП вузаЦикл

дисциплин (V часов)

Дисциплина (V часов, отведенных

на изучение дисц.)

Количество студентов, принявших участие

в Интернет - тестировании

Процент студентов,

освоивших все ДЕ 080111.65 Маркетинг

ГСЭ (852) Правоведение (68) 15 53% ГСЭ (852) Культурология (102) 15 73% ЕН (800) Математика (400) 24 54%

080601.65 Статистика

ГСЭ (988) Культурология (108) 14 86% ЕН (1250) Математика (638) 13 85%

ОПД (2080) Эконометрика (144) 12 17% 100103.65 Социально-культурный сервис и туризм

ГСЭ (852) Психология и

педагогика (102) 22 0%

150406.65 Машины и аппараты текстильной и легкой промышленности

ОПД (2278) Метрология,

стандартизация и сертификация (119)

12 17%

ОПД (2278) Механика

(теоретическая механика) (204)

14 0%

Рейтинг-лист студентов

№Идентификатор

студентаПродолжительностьтестирования, мин

Количествовыполненных

заданий

Процентвыполненных

заданий

Количествоосвоенных

ДЕ

Процентосвоенных

ДЕ

1 Студент 1 44 30 из 32 93% 8 из 8 100%

2 Студент 2 42 28 из 32 87% 8 из 8 100%

3 Студент 3 12 26 из 32 81% 8 из 8 100%

4 Студент 4 56 26 из 32 81% 8 из 8 100%

5 Студент 5 43 26 из 32 81% 8 из 8 100%

6 Студент 6 54 25 из 32 78% 7 из 8 88%

7 Студент 7 52 25 из 32 78% 8 из 8 100%

8 Студент 8 54 24 из 32 75% 8 из 8 100%

9 Студент 9 23 23 из 32 71% 8 из 8 100%

10 Студент 10 54 21 из 32 65% 7 из 8 88%

11 Студент 11 53 20 из 32 62% 6 из 8 75%

12 Студент 12 55 20 из 32 62% 8 из 8 100%

Среднее: 76%

Информационно-аналитическая карта

«Педагогический анализ результатов тестирования

на основе дисциплинарного подхода»

Модель оценки выполнения требований ГОС

50% студентов, освоивших все дидактические единицы ГОС

Процент студентов, освоивших все дидактические единицы ГОС

ООП

100 % освоенных дидактических единиц ГОС

Процент освоенных дидактических единиц ГОС Студент

Критерийвыполнения

требований ГОС

Показатель выполнения

требований ГОС

Объект оценки

Принцип оценивания базовой подготовки студентов на соответствие требованиям ГОС

Освоение всех структурных элементов содержания (дидактических единиц) дисциплины на уровне требований, заданном в ГОС

Дидактическая единица (ДЕ) – раздел дисциплины

Освоение ДЕ – выполнение не менее

половины заданий раздела

Модель аккредитационных педагогических измерительных материалов по дисциплине

Критерий освоения дидактической единицы: 50 % правильно выполненных заданий

Дисциплина

Дидактическаяединица №1

Дидактическаяединица №2 ... Дидактическая

единица №k

Задание 1

Задание 2

Задание 3

Задание 4

Задание 1

Задание 2

Задание 3

Задание 4

Задание 1

Задание 2

Задание 3

Задание 4

Название дисциплины

Контролируемые вАПИМ дидактическиеединицы дисциплины

Задания АПИМ

Педагогический анализ результатов тестирования

Ректорат

Деканат

Кафедра

Преподаватель

Студент

Рособрнадзор

Сравнение показателей освоения требований ГОС с другими вузами

Показатели освоения требований ГОС для ООП по профилям подготовки

Показатели освоения требований ГОС;Показатели освоения ДЕ дисциплин

Показатели освоения ДЕ дисциплин;Коэффициенты решаемости заданий по темам

Рейтинговый показатель в группе, специальности, вузе, группе вузов

Обобщенные результаты освоения требований ГОС; Мониторинг результатов тестирования

Структурирование информации о результатах Интернет-экзамена для пользователей различного уровня

Структура содержания-11. Результаты тестирования студентов в вузе

1.1. Показатели выполнения требований ГОС для ООП вуза1.2. Обобщенные результаты выполнения требований ГОС по циклам дисциплин для ООП вуза

2. Результаты тестирования студентов по ООП вуза2.1. Результаты тестирования студентов ООП ……2.2. Результаты тестирования студентов ООП …..

3. Педагогический анализ результатов тестирования студентов на соответствие требованиям ГОС3.1. Дисциплина «Английский язык»

3.1.1. ООП 070601.65 «Дизайн»Приложение 1. Методы анализа результатов дисциплинарного тестирования

(модель оценки качества подготовки студентов на соответствие требованиям ГОС, представление обобщенных результатов для ООП вуза на основе педагогических измерений)

Цикл дисциплин (V часов)

Дисциплина (V часов, отведенных

на изучение дисц.)


в Интернет - тестировании


освоивших все ДЕ 080111.65 Маркетинг

ГСЭ (852) Правоведение (68) 15 53% ГСЭ (852) Культурология (102) 15 73% ЕН (800) Математика (400) 24 54%

080601.65 Статистика

ГСЭ (988) Культурология (108) 14 86% ЕН (1250) Математика (638) 13 85%

ОПД (2080) Эконометрика (144) 12 17% 100103.65 Социально-культурный сервис и туризм

ГСЭ (852) Психология и

педагогика (102) 22 0%

150406.65 Машины и аппараты текстильной и легкой промышленности

ОПД (2278) Метрология,

стандартизация и сертификация (119)

12 17%

ОПД (2278) Механика

(теоретическая механика) (204)

14 0%

Показатели выполнения требований ГОС для ООП вуза

Объем часов, выделяемых на изучение дисциплин, в вузе

ООП Цикл Дисциплина MIN MAX ГОС

010200.62 ГСЭ Экономика 36 137



010803.65 ГСЭ Экономика 100 100

010901.65 ГСЭ Экономика 137

050717.65 ГСЭ Философия 100

050201.65 ГСЭ Философия 54 800



Диаграмма обобщенных результатов тестирования студентов ОУ

на соответствие требованиям ГОС

311(80,4%)

76(19,6%)

Соответству ет требованиям ГОС

Не соотву тству ет требованиям ГОС

Обобщенные результаты выполнения требований ГОС по циклам дисциплин для ООП вуза

0

20

40

60

80

100

0705

03.6

5(О

ПЭ

В-3

4)

0713

01.6

5(Л

Т-3

7)

0713

01.6

5(Н

Т-3

1)

0713

01.6

5(Н

Х-3

11.

ОН

И-3

13)

0706

01.6

5(Д

-25)

0714

01.6

5(П

КД

П-2

2)

0702

09.6

5(Р

ТП

иП-3

5)

0714

01.6

5(О

УС

Т-

34/1

)

0713

01.6

5(С

Т-3

3)

0712

01.6

5(Р

АИ

Р-3

1,

ТА

ИР

-32)

0714

01.6

5(О

УС

Т-

34/2

)

50%

ООП

процент студентов, полностью освоивших

все контролируемые ДЕ дисциплины

Результаты тестирования студентов по основным образовательным программам вуза

Выводы по освоению дисциплины«+» Дисциплина освоена, если не менее 50% студентов,

принимавших участие в Интернет-экзамене, освоили 100% ДЕ дисциплины.

«−/+» Дисциплина освоена условно, если не менее 50% студентов, принимавших участие в Интернет-экзамене, освоили не менее 70% всех ДЕ дисциплины.

«−» Дисциплина не освоена, если более 50% студентов, принимавших участие в Интернет-экзамене, освоили менее 70% всех ДЕ дисциплины.

« * » Выводы о соответствии качества подготовки студентов данной ООП требованиям ГОС по дисциплине являются статистически незначимыми (контингент менее 10 чел.).

Результаты тестирования студентов по ООП вузаВыводы по освоению цикла дисциплин

Выводы по освоению цикла дисциплин не приводятся (**), если сумма часов тестируемых дисциплин цикла составляет менее половины объема часов, отводимого в ГОС на изучение цикла, или количество часов по тестируемым дисциплинам данного цикла в ГОС отсутствует.

Выводы по освоению цикла дисциплин приводятся, если сумма часов тестируемых дисциплин цикла составляет не менее половины объема часов, отводимого в ГОС на изучение цикла. При этом полагается, что:‑ цикл дисциплин освоен , если освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла; ‑ цикл дисциплин освоен условно , если освоены и условно-освоены или только условно-освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла; ‑ цикл дисциплин не освоен , если не освоены дисциплины, количество часов по которым в сумме составляет не менее половины объема часов, отводимого в ГОС на изучение дисциплин цикла.

+86%86%14Математика и

информатика (150)

ЕН (230)

82%48%65Менеджмент

(100)

+88%88%32Маркетинг

(100)

-/+75%45%32Бухгалтерский

учет (280)

ОПД (1050)

+77%77%13Экономика

(90)

+71%64%14Философия

(90)

+85%85%13Социология

(90)

ГСЭ (1260)

Выводыпо освоению

цикла/дисциплины

Процент студентов, освоивших не менее

70% ДЕ


освоивших 100% ДЕ

Количество студентов,

принявшихучастие

в Интернет - экзамене

Результаты тестирования студентовДисциплина (объем часов,

выделяемых на изучение

дисциплины в ГОС)

Цикл дисциплин (объем часов,

выделяемых на изучение цикла в

ГОС)

Результаты тестирования студентов ООП

**

-/+

Декан,зав.кафедрой

Результаты освоения дисциплины в целом для образовательных программ кафедры

0

20

40

60

80

100

0702

01.6

5

50%

ООП

процент студентов, полностью освоивших все

контролируемые ДЕ ГОС

x 1/4

M

x 3/4

0

20

40

60

80

100

06

18

00

06

11

00

06

21

00

06

05

00

06

06

00

06

15

00

06

07

00

35

13

00

06

04

00

06

22

00

06

08

00

06

10

00

50%

ООП



x 1/4

M

x 3/4

• Сравнение показателей освоения дисциплины с результатами других вузов.

• Мониторинг результатов освоения базового уровня подготовки по дисциплине

Декан, зав.кафедрой

Профессорско-преподавательский состав кафедры

Диаграмма обобщенных результатов тестирования на соответствие требованиям ГОС в целом по дисциплине

Диаграмма ранжирования ООП вуза по показателю освоения дисциплины на соответствие требований ГОС

Требования ГОС к обязательному минимуму содержания ООП по дисциплине

Структура АПИМ по дисциплине Гистограмма плотности распределения результатов

тестирования Карта коэффициентов решаемости заданий по темам Карта коэффициентов освоения ДЕ дисциплины

Диаграмма обобщенных результатов тестирования на соответствие требованиям ГОС в целом по дисциплине

125(45,3%)

149(54,0%)

2(0,7%)

Д о ля с т у де н т о в , о с в о и в ш и хди с ци п ли н у

Д о ля с т у де н т о в , о с в о и в ш и хди с ци п ли н у у с ло в н о

Д о ля с т у де н т о в , н е о с в о и в ш и хди с ци п ли н у

Диаграмма ранжирования ООП вуза по показателю освоения дисциплины на соответствие требованиям ГОС

(по каждой дисциплине цикла)

0

20

40

60

80

100

0705

03.6

5(О

ПЭ

В-3

4)

0713

01.6

5(Л

Т-3

7)

0713

01.6

5(Н

Т-3

1)

0713

01.6

5(Н

Х-3

11.

ОН

И-3

13)

0706

01.6

5(Д

-25)

0714

01.6

5(П

КД

П-2

2)

0702

09.6

5(Р

ТП

иП-3

5)

0714

01.6

5(О

УС

Т-

34/1

)

0713

01.6

5(С

Т-3

3)

0712

01.6

5(Р

АИ

Р-3

1,

ТА

ИР

-32)

0714

01.6

5(О

УС

Т-

34/2

)

50%

ООП



Формы представления результатов тестирования: гистограмма плотности распределения

• По форме и положению гистограммы можно судить о характере распределения результатов для данной группы студентов

• Гистограмма позволяет эффективно оценить расслоение результатов студентов по уровню подготовки

Представление результатов: карта коэффициентов решаемости заданий

• Карта коэффициентов решаемости позволяет оценить уровень подготовки испытуемых по отдельным темам измерительных материалов

• По данному графику можно выявить темы, оказавшиеся трудными для студентов контролируемой группы (коэффициент решаемости менее 0,4)

Представление результатов: карта коэффициентов освоения ДЕ

• График позволяет оценить степень освоения тематических разделов дисциплины

• Наглядно выявляются разделы, освоенные на недостаточном уровне (коэффициент освоения менее 0,7)

Информационно-аналитическая карта

«Педагогический анализ результатов тестирования

на основе полидисциплинарного подхода»

Модель педагогических измерительных материалов для полидисциплинарного

тестирования

M+N+1, M+N+2, ...,

M+N+P

М+1,М+2, …, М+N

1,2,3, …,

М

№№ ДЕ

Дисциплина 3Дисциплина 2Дисциплина 1Наименование дисциплины

Модель полидисциплинарногоАПИМПолиАПИМ по циклу дисциплин

43

2Зад

ание

1

43

2Задан

ие1

43

2Зад

ание

1

Дисциплина 1

ДЕ 1

ДЕ 2

ДЕ М1


ДЕ 1

ДЕ 2

ДЕ М2


ДЕ 1

ДЕ 2

ДЕ М3

Дисциплина 1 Дисциплина 2 Дисциплина 3

ЦИКЛ

СЕ

ДЕ

За

да

ни

я

ПолиАПИМ по циклу дисциплин

43

2Зад

ание

1

43

2Задан

ие1

43

2Зад

ание

1


ДЕ 1

ДЕ 2

ДЕ М1


ДЕ 1

ДЕ 2

ДЕ М2


ДЕ 1

ДЕ 2

ДЕ М3


ЦИКЛ

СЕ

ДЕ

За

да

ни

я


43

2Зад

ание

1

43

2Задан

ие1


43

2Зад

ание

1

43

2Задан

ие1

43

2Зад

ание

1


ДЕ 1

ДЕ 2

ДЕ М1


ДЕ 1

ДЕ 2

ДЕ М2


ДЕ 1

ДЕ 2

ДЕ М3


ЦИКЛ

СЕ

ДЕ

За

да

ни

я

Модель оценки выполнения требований ГОС при полидисциплинарном тестировании

50% студентов, освоивших все контролируемые дидактические единицы полиАПИМ

Процент студентов, освоивших все контролируемые дидактические единицы полиАПИМ

ООП

100 % освоенных дидактических единиц полиАПИМ, предъявленных к выполнению

Процент освоенных дидактических единиц полиАПИМ, предъявленных к выполнению

Студент

Критерий освоения совокупности дисциплин полиАПИМ

на соответствие требов. ГОС

Показатель освоения совокупности дисциплин полиАПИМ

на соответствие требов. ГОС

Объект оценки

Структура содержания-21. Результаты полидисциплинарного тестирования студентов в вузе

1.1. Показатели выполнения требований ГОС для ООП вуза1.2. Обобщенные результаты выполнения требований ГОС по циклам дисциплин для ООП вуза

2. Результаты полидисциплинарного тестирования студентов по ООП вуза2.1. Результаты полидисциплинарного тестирования студентов ООП 030301.65 2.2. Результаты полидисциплинарного тестирования студентов ООП 030501.65

3. Содержательный анализ результатов педагогических измерений полидисциплинарного тестирования для ООП вуза3.1. Цикл дисциплин ГСЭ

3.1.1. ООП 030301.65 «Психология»3.2. Цикл дисциплин ЕН

3.2.1. ООП 030501.65 «Юриспруденция»Приложение 1. Методы анализа результатов дисциплинарного тестирования (модель оценки качества

подготовки студентов на соответствие требованиям ГОС, представление обобщенных результатов для ООП вуза на основе педагогических измерений, представление результатов педагогических измерений по дисциплине для отдельной ООП)

Приложение 2. Методы анализа результатов полидисциплинарного тестирования (модель полиАПИМ, модель оценки качества подготовки студентов на соответствие требованиям ГОС, представление обобщенных результатов полидисциплинарного тестирования для ООП вуза, представление результатов полидисциплинарного тестирования для отдельной ООП вуза)

Показатели выполнения требований ГОС для ООП вуза

Цикл дисциплин (V часов)

Дисциплина ( V часов)


в полидисц. тестировании

Процент студентов, освоивших все

контролируемые ДЕ

Наименование и код ООП вуза

ЕН (1600) полиАПИМ 22 42% ЕН Информатика (200) 22 38% ЕН КСЕ (200) 22 65%

ЕН Математика (800) 22 81%

ГСЭ (1260) полиАПИМ 42 56%

ГСЭ Отечественная

история (-) 42 79%

ГСЭ Философия (-) 42 88%

Наименование и код ООП вуза

ЕН (1600) полиАПИМ 63 52% ЕН Информатика 63 88% ЕН Математика 63 60% ЕН Физика 63 74%

Диаграмма обобщенных результатов полидисциплинарного тестирования на соответствие требованиям ГОС по

дисциплинам

68(57,6%)

50(42,4%) Соответству ет требованиям ГОС

Не соотву тству ет требованиям ГОС

Диаграмма ранжирования ООП вуза по показателю освоения дисциплины на

соответствие требованиям ГОС по отдельной дисциплине

0

20

40

60

80

100

080507.65(4М) 080105.65(4Ф) 080109.65(4Б)

50%

ООП



Результаты полидисциплинарного тестирования студентов по ООП вуза

Выводы по освоению дисциплины на основе полидисциплинарного подхода

«+» Дисциплина освоена, если все контролируемые ДЕ дисциплины освоили не менее 50% студентов.

«−» Дисциплина не освоена, если все контролируемые ДЕ дисциплины освоили менее 50% студентов.

« * » Выводы о соответствии качества подготовки студентов данной ООП требованиям ГОС по дисциплине являются статистически незначимыми (контингент менее 10 чел.).

Выводы по освоению цикла дисциплин на основеполидисциплинарного подхода

Выводы по освоению цикла дисциплин по результатам полидисциплинарного тестирования не приводятся (**), если сумма часов, предусмотренных ГОС для изучения тестируемых дисциплин, составляет менее половины объема часов, отводимого в ГОС на изучение цикла, или количество часов по тестируемым дисциплинам данного цикла в ГОС отсутствует.

Выводы по освоению цикла дисциплин приводятся, если сумма часов тестируемых дисциплин цикла составляет не менее половины объема часов, отводимого в ГОС на изучение цикла. При этом полагается, что:

цикл дисциплин освоен, если показатель освоения совокупности дисциплин полиАПИМ не менее 50%;

цикл дисциплин освоен условно, если показатель освоения совокупности дисциплин полиАПИМ менее 50%, но при этом показатели освоения всех дисциплин полидисциплинарного тестирования не менее 50%;

цикл дисциплин не освоен, если показатель освоения совокупности дисциплин полиАПИМ менее 50%, и при этом показатели освоения некоторых дисциплин полидисциплинарного тестирования также менее 50%.

+77%65ОМЗ(100)

+90%65Психология (300)

+65%65Педагогика (400)

**ОПД (3050)

+60%41Культурология

(100)

+78%41Отечественная история (320)

+75%41Английский язык

(340)

ГСЭ (1260)

Выводыпо освоению

цикла/дисциплины

Процент студентов, освоивших все контролируемые ДЕ

Количество студентов,

принявших участиев полидисц.

тестировании

Результаты тестирования студентовДисциплина(объем часов,

выделяемых на изучение

дисциплины в ГОС)

Цикл дисциплин (объем часов,

выделяемых на изучение цикла в

ГОС)

Результаты полидисциплинарного тестирования студентов ООП вуза

Диаграмма ранжирования ООП вузовпо показателю освоения дисциплины на

соответствие требованиям ГОСУГС 030000 - Гуманитарные науки;

080000 - Экономика и управлениеДисциплина: Менеджмент

0

20

40

60

80

100

0801

05.6

5

50%

ООП



x 1/4

M

x 3/4

Содержательный анализ результатов педагогических измерений полидисциплинарного тестирования

для ООП вуза

• требования ГОС к обязательному минимуму содержания ООП по дисциплине

• структура АПИМ по дисциплине • гистограмма плотности распределения результатов

полидисциплинарного тестирования• карты коэффициентов решаемости заданий по

дисциплинам• карта коэффициентов освоения ДЕ совокупности

дисциплин

Гистограмма плотности распределения результатов полидисциплинарного тестирования

Цикл дисциплин: ОПД («Менеджмент», «Статистика»)

ООП: 080105.65 «Финансы и кредит»

0

5

10

15

20

25

30

35

5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

процент выполненных заданий

процент студентов

Карта коэффициентов решаемости заданий полиАПИМ по отдельной дисциплине

• Дисциплина: Менеджмент

ООП: 080105.65 «Финансы и кредит»

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

номера заданий

коэффициент решаемости

Карта коэффициентов освоения ДЕ совокупности дисциплин

Цикл дисциплин ОПД:«Менеджмент-5ДЕ», «Статистика-4ДЕ » для ООП: 080105.65 «Финансы и кредит»

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 1 2 3 4

Менеджмент Статистика

номер ДЕ

коэффициент освоения ДЕ

Области использования результатов Интернет-экзамена в образовательном учреждении

• Рейтинговые технологии оценки учебных достижений студентов

• Система менеджмента качества (внешняя оценка, мониторинг)

• Самообследование

• Государственная аккредитация

Баллы для рейтинга студентов

• Текущая работа

• Контроль освоения модулей (разделов)

• Дополнительные виды работ

• Результаты Интернет-экзамена

• Экзамен вуза

Информация1 раз в 5 лет

Процедуры оценки вып-ния треб-ний ГОС

Процедуры, проводящиеся дополнительно к сессионному контролю

Процедуры, встроенные всессионный контроль

Разовые(1 раз в 5 лет)

Самообследование иаттестационная

экспертиза (АПИМ)

Регулярные(1 раз в семестр)

Внутренний (и/иливнешний)

независимыйконтроль (АПИМ)

1 уровень: Контроль на

базовом уровне(АПИМ)

2 уровень: Контроль на

повышенном уровне(процедуры,

принятые в вузе)

Мониторинг освоения ГОС

Двухуровневый экзамен

Дл

я о

це

нки

ОО

П

Дляоценки

студента

Контроль освоенияГОС студентами ООП

Контроль освоенияГОС студентами ООП

Возможные показатели для вузовского рейтинга студента

Рейтинг- лист по результатам ФЭПО

Самый сложный

раздел

Полный рейтинг-лист результатов тестирования

• Выполнение заданий по каждой теме

Использование результатов ФЭПО в вузовской системе менеджмента качества

Результаты ФЭПО в вузовской системе менеджмента качества

• Анализ результатов оценки выполнения требований ГОС на уровне:

– ректората (освоение материала по образовательным программам)

– деканата (освоение материала по дисциплинам и циклам дисциплин)

– кафедры (освоение материала по ДЕ и дисциплине)

– преподавателя (освоение материала по темам и ДЕ)

• Мониторинг результатов по дисциплинам

и образовательным программам

Ректорат

•Показатели освоения дисциплин для ООП вуза

•Сравнение показателей освоения дисциплин с результатами других вузов

•Мониторинг результатов оценки базового уровня подготовки студентов вуза

Показатели освоения дисциплин для ООП вуза, принимавшего участие в Интернет-экзамене

Цикл дисциплин

Дисциплина Количество студентов,

принявших участие в Интернет - тестировании


освоивших все ДЕ 080109.6х Бухгалтерский учет, анализ и аудит

Общий контингент - 851 обучающихся

ЕН Информатика 67 25%

ЕН Концепции

современного естествознания

29 93%

ЕН Математика 79 47%


история 42 79%

ГСЭ Философия 48 48% ….. ….. ….. ……

080502.6х Экономика и управление на предприятии (по отраслям) Общий контингент - 906 обучающихся

ЕН Информатика 63 38% ЕН Математика 69 20% ЕН Физика 50 24%


история 37 81%

ГСЭ Философия 67 58% ЗАМЕЧАНИЕ: Жирным шрифтом выделены дисциплины (и показатели освоения), по которым уровень подготовки студентов не соответствует требованиям ГОС.

0

20

40

60

80

100

06

18

00

06

11

00

06

21

00

06

05

00

06

06

00

06

15

00

06

07

00

35

13

00

06

04

00

06

22

00

06

08

00

06

10

00

50%

ООП



x 1/4

M

x 3/4

• Сравнение показателей освоения дисциплины с результатами других вузов

• Мониторинг результатов освоения базового уровня подготовки по дисциплине

Деканат

•Показатели освоения дисциплин для группы ООП вуза (факультета)

•Мониторинг результатов оценки базового уровня подготовки студентов факультета

Инженерное дело в медико-биологической практике

2536

0

75

0

10

20

30

40

50

60

70

80

90

100

Информатика Математика Философия Химия

Проектирование и технология электронно-вычислительных средств

80 83

25

0

10

20

30

40

50

60

70

80

90

100

Математика Физика Философия

Радиотехника (бакалавриат)

53

25

100

0

10

20

30

40

50

60

70

80

90

100

Математика Философия Химия

Радиотехника

72

27

100

0

10

20

30

40

50

60

70

80

90

100


Бытовая радиоэлектронная аппаратура

80

44

100

0

10

20

30

40

50

60

70

80

90

100


Радиосвязь, радиовещание и телевидение

8693

16

90

0

10

20

30

40

50

60

70

80

90

100

Математика Физика Философия Химия

Управление и информатика в технических системах

46

82

17

90

0

10

20

30

40

50

60

70

80

90

100

Информатика Математика Философия Химия

Результаты ФЭПО для группы ООП

Управление качеством

20

100

50

10

20

30

40

50

60

70

80

90

100

Информатика Концепциисовременного

естествознания

Философия

Кафедра

• Освоение разделов дисциплины для различных образовательных программ

• Освоение дисциплины в целом для различных образовательных программ

• Мониторинг результатов освоения дисциплины

Оценка освоения разделов дисциплины студентами разных специальностей

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ


0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ


0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ


Кафедра

Кафедра

Результаты освоения дисциплины в целом для

образовательных программ кафедры

0

20

40

60

80

100

55

25

00

06

15

00

35

14

00

55

29

00

20

15

00

22

05

00

19

06

00

29

14

00

29

15

00

06

10

00

20

11

00

07

55

00

34

01

00

52

16

00

29

03

00

12

01

00

06

11

00

22

01

00

55

01

00

20

07

00

29

10

00

22

04

00

55

37

00

26

01

00

07

20

00

21

01

00

26

02

00

06

08

00

50%

ООП



Мониторинг выполнения требований ГОС по дисциплине

0

20

40

60

80

100

55

25

00

06

15

00

35

14

00

55

29

00

20

15

00

22

05

00

19

06

00

29

14

00

29

15

00

06

10

00

20

11

00

07

55

00

34

01

00

52

16

00

29

03

00

12

01

00

06

11

00

22

01

00

55

01

00

20

07

00

29

10

00

22

04

00

55

37

00

26

01

00

07

20

00

21

01

00

26

02

00

06

08

00

50%

ООП



0

20

40

60

80

100

0208

02.6

x(П

П-1

1)04

0101

.6x(

СР

-11)

0801

07.6

x(Н

Н-1

2)08

0116

.6x(

ММ

Э-2

1)28

0101

.6x(

БЖ

Д-2

1)25

0203

.6x(

СП

С-1

1)08

0105

.6x(

ФК

-21)

0808

01.6

x(П

ИЭ

-21)

1001

03.6

x(С

КС

иТ-1

1)28

0402

.6x(

ПТ

-21)

2701

02.6

x(П

ГС-2

1)23

0105

.6x(

ПС

-22)

2202

01.6

x(У

ИТ

С-2

2)15

1001

.6x(

ТМ

-21)

0805

04.6

x(ГМ

У-2

1)25

0201

.6x(

ЛХ

-12)

2104

05.6

x(Р

РТ

-21)

2701

15.6

x(Э

УН

-21)

0805

07.6

x(М

Т-2

1)08

0507

.6x(

МТ

-22)

0805

07.6

x(М

Т-2

3)08

0107

.6x(

НН

-11)

0805

02.6

x(Э

УП

АП

К-2

1)08

0109

.6x(

БУ

А-2

1)28

0302

.6x(

КИ

ВР

-21)

2804

00.6

x(П

О-2

1)27

0114

.6x(

ПЗ

-21)

0901

05.6

x(Б

И-2

1)11

0302

.6x(

ЭА

СХ

-21)

2102

02.6

x(Э

ВС

-21)

0801

05.6

x(Ф

К-2

2)21

0303

.6x(

БР

ЭА

-21)

2202

01.6

x(У

ИТ

С-2

1)08

0111

.6x(

МГ-

21)

2301

01.6

x(В

М-2

2)25

0201

.6x(

ЛХ

-11)

0805

02.6

x(Э

УП

ЛК

-21)

0805

04.6

x(ГМ

У-2

2)21

0302

.6x(

РТ

-21)

0401

00.6

x(С

Рб-

11)

1504

05.6

x(М

М-2

1)10

0103

.6x(

СК

СиТ

-12)

0801

09.6

x(Б

УА

-22)

2301

05.6

x(П

С-2

1)09

0105

.6x(

БИ

-22)

0801

00.6

x(Э

КО

-21)

0805

04.6

x(ГМ

У-2

3)15

0900

.6x(

ТМ

П-2

1)27

0100

.6x(

СТ

Р-2

1)08

0801

.6x(

ПИ

Э-2

2)21

0300

.6x(

РТ

Б-2

1)14

0104

.6x(

ПТ

Э-2

1)14

0104

.6x(

ПТ

Э-2

2)23

0101

.6x(

ВМ

-21)

2504

03.6

x(Т

Д-2

1)11

0301

.6x(

МС

Х-2

1)19

0603

.6x(

СТ

М-2

1)27

0102

.6x(

ПГС

-22)

2702

05.6

x(А

Д-2

1)08

0105

.6x(

ФК

-23)

1510

01.6

x(Т

М-2

2)27

0205

.6x(

АД

-22)

2005

03.6

x(С

С-2

1)19

0702

.6x(

ОБ

Д-2

1)20

0402

.6x(

ИМ

БП

-21)

2504

01.6

x(Л

Д-2

1)25

0300

.6x(

ТО

ЛД

П-2

1)

50%

ООП



ФЭПО-N

ФЭПО-(N+2)

Результаты ФЭПО по дисциплине на фоне других вузов

0

20

40

60

80

100

2301

00.6

x

2301

05.6

x

2301

01.6

x

0208

02.6

x

50%

ООП


все контролируемые ДЕ ГОС

x 1/4

M

x 3/4

0

20

40

60

80

100

0401

00.6

x

0401

01.6

x

50%

ООП



x 1/4

M

x 3/4

080000 - Экономика и управление

0

20

40

60

80

100

0801

07.6

x

0801

05.6

x

0801

11.6

x

0801

00.6

x08

0507

.6x

0805

02.6

x08

0109

.6x

0805

04.6

x08

0500

.6x

0801

16.6

x

50%

ООП



x 1/4

M

x 3/4

100000 - Сфера обслуживания 110000 - Сельское и рыбное хозяйство 120000 - Геодезия и землеустройство 130000 - Геология, разведка и разработка полезных ископаемых

0

20

40

60

80

100

1103

00.6

x

1103

02.6

x

1001

03.6

x

50%

ООП



x 1/4

M

x 3/4


Результаты Интернет-тестирования:• Индивидуальные результаты студентов• Карта решаемости заданий в одной и

нескольких группах• Карта освоения разделов в одной и нескольких

группах• Показатели освоения дисциплины по

образовательным программам

Оценка освоения тем дисциплины студентами разных специальностей

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38



0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38



0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38




Оценка освоения разделов дисциплины студентами разных специальностей

0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ


0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ


0

0,1

0,2

0,3

0,4

0,5

0,6

0,7

0,8

0,9

1

1 2 3 4 5 6 7 8 9 10 11 12

номер ДЕ



Студент

Результаты тестирования:• Выполнение заданий по каждой теме• Освоение разделов• Рейтинг в группе по числу выполненных

заданий и/или освоенных разделов• Рейтинг на курсе по уровню освоения

совокупности дисциплин (цикла дисциплин) на уровне требований ГОС

Использование результатов Интернет-экзамена

при самообследовании вуза

Две актуальные задачи при проведении самообследования

• оценка освоения дисциплин на соответствие требованиям ГОС

• мониторинг результатов этой оценки для образовательных программ (не менее 3-х лет)

Примерная программа оценки качества подготовки студентов при

самообследовании

1. Все аккредитуемые ООП

2. Все циклы дисциплин по каждой ООП

3. Важнейшие дисциплины цикла:• не менее 3-х по циклам ГСЭ и ЕН

• не менее 5-и по циклам ОПД и СД

4. Студенческие группы, завершившие изучение дисциплины не позднее, чем за один год до самообследования

Приблизительная оценка объема выборки дисциплин при самообследовании

Число дисциплин в

ООП

Число контролируемых дисциплин

= 0,90 – 0,95

= 0,8 – 0,9 = 0,7 – 0,8

30 23 14 9

40 29 16 9

Национальное аккредитационное агентство в сфере образованияНИИ мониторинга качества образования

проводят циклинформационно-консультационных семинаров

по тематике

Федерального Интернет-экзамена в сфере профессионального образования

К участию в работе семинаров приглашаются ректоры, проректоры, специалисты и организаторы Интернет-экзамена в вузе.

График проведения семинаров (1-ое полугодие 2009 года)Дата Тематика семинаров Место

проведения

12.03.200913.03.2009

Информационно-консультационный семинар «Федеральный Интернет-экзамен в сфере профессионального образования: технология проведения, анализ и использование его результатов. Интернет-олимпиада в сфере профессионального образования»

г. Ростов-на-Дону

23.03.200924.03.2009

Мастер-класс «Федеральный Интернет-экзамен в сфере профессионального образования: технология проведения, разработка АПИМ, анализ и использование его результатов»

г. Новосибирск

09.04.200910.04.2009

Информационно-консультационный семинар «Федеральный Интернет-экзамен в сфере профессионального образования: технология, разработка аккредитационных педагогических измерительных материалов, самообследование образовательного учреждения»

г. Москва

25.06.200905.07.2009

V Международная летняя школа-семинар «Федеральный Интернет-экзамен в сфере профессионального образования. Измерение латентных переменных»

г.Адлер

Спасибо за внимание!

Киселева Валентина Петровна

Телефоны: 8-(8362) 42-25-04, 44-15-64

E-mail: [email protected]

Киселева Валентина Петровна НИИ Мониторинга качества...

Documents