Высшая школа экономики, Москва, 2013 hse.ru

Результаты и перспективы реализации проекта "Оценка результатов обучения в высшем

образовании" (Assessment of Higher Education Learning Outcomes, AHELO) в России

Национальный аккредитационный совет,

30 сентября 2013 г.

Высшая школа экономики, Москва, 2013

www.hse.ru


Цель и целевая аудитория проекта

фото

фото

Конечная цель - разработка комплексного, объективного и научно обоснованного подхода к оценке результатов обучения в ВО (альтернатива международным рейтингам вузов); получение международно сопоставимой информации о результатах обучения в ВО на уровне вузов, факультетов, образовательных программ

Цель feasibility study (2008-2012) - оценка принципиальной возможности международного измерения уровня знаний и практических навыков студентов вузов, обучающихся в различных языковых, культурных и институциональных контекстах; разработка соответствующих инструментов измерения для оценки общих знаний и компетенций и специальных знаний и компетенций для двух пилотных дисциплин – Экономика и Инженерные науки

Основная целевая аудитория – выпускники бакалавриата (Россия – 4-й курс бакалавриата и/или специалитета), выборка – до 200 человек от вуза

Фокус AHELO на оценку не теоретических знаний, а навыков и умений их применения в контекстах, максимально приближенных к будущей профессиональной практике (“above content” knowledge and skills)


Направления проекта

фото

фото

фоо


Страны-участницы

фото

фото

17 стран-участниц

В общей сложности в проекте AHELO приняли участие 248 вузов и около 23 000 студентов из стран-участниц

Направления исследований в рамках проекта

Участвующие страны

Исследование общих навыков и компетенций

Колумбия, Египет, Финляндия, Корея, Кувейт, Мексика, Норвегия, Словакия, США (4 штата)

Исследование специальных навыков и компетенций по дисциплине «Экономика»

Бельгия (Фландрия),Египет, Италия, Мексика, Нидерланды, Россия, Словакия

Исследование специальных навыков и компетенций по дисциплине «Инженерные науки»

Австралия, Египет, Япония, Колумбия, Мексика, Словакия, Канада (провинция Онтарио), Абу Даби, Россия


Российские вузы – участники проекта

фото

фото

Экономика Инженерные науки

САФУ, СВФУ, УрФУ

РАНХиГС, ГУУ, ДВФУ, К(П)ФУ, МГИМОМЭСИ, НГУ, РЭУ им. Плеханова, СПбГУ, Финэк, СФУ, ЮФУ, АГУ, НИУ ВШЭ (+ филиалы)Финансовый университет при Правительстве РФ (только этап 1) , МГУ (только этап 1)

Донской государственный технический университетНациональный исследовательский Иркутский государственный технический университетНациональный исследовательский Томский политехнический университетТюменский государственный нефтегазовый университетУральский государственный горный университетУральский государственный университет путей сообщений Алтайский государственный технический университет им. И.И. Ползунова

26 вузов-участников, включая:3 университета – Экономика+Инженерные науки 7 университетов – только Инженерные науки (всего 10)16 университетов – только Экономика (всего 19, 2 – только этап 1)


Выборка и участие в России

фото

фото

Объем генеральной совокупности

Объем выборки

Объем участия в основном исследовании AHELO

Объем участия в дополнительном исследовании358

Студенты-экономисты

3 756 2 900 2 400 1940

Преподаватели - экономисты

1 556 714 349 335

Студенты – инженеры

1 282 1 282 1 181 997

Преподаватели - инженеры

331 331 171 182

В общей сложности в проекте AHELO приняли участие 3581 студент и 520 преподавателей


Инструментарий AHELO

фото

фото

Оценка результатов обучения студентов Онлайн тестирование продолжительностью 90 мин., состоящее из 2 типов заданий – задания с конструируемыми ответами (CRTs) и тестовые задания (MCQs)

Оценка контекста результатов обучения(1)Заполнение онлайн вопросников (10 мин.): для студентов, для преподавателей, для институциональных координаторов и/или администрации вузов(2)Заполнение дополнительно разработанных национальных вопросников для студентов и преподавателей

Направление CRTs MCQs

Экономика 2 варианта заданий, в каждом из которых 6-7 вопросов (студент решал 1 случайно выбранный вариант)

54 задачи (студент решал 25 случайно выбранных)

Инженерные науки 3 варианта заданий, в каждом из которых 6-8 вопросов (студент решал 1 случайно выбранный вариант)

30 задач (студент решал 10 случайно выбранных)

Признание возможности выработки университетами согласованных контрольных параметров (в терминах результатов обучения и компетенций ) по предметным областям, необходимых для обеспечения сопоставимости, совместимости и прозрачности программ и оценки качества образования (Tuning Educational Structures in Europe).

LO в Экономике: знание и понимание предмета, а также умение их практического использования применительно к реальным ситуациям; способность эффективно оперировать необходимыми данными и использовать количественные методы оценки; способность устанавливать связь как со специалистами в данной предметной области, так и со специалистами в других областях; способность приобретать дополнительные образовательные навыки.

LO в Инженерных науках: способность решать поставленные задачи, применяя базовые инженерные и научные принципы, инженерные подходы и общие навыки. в том числе, готовность подходить к решению таких задач с учетом возможностей улучшения качества жизни, ответа на социальные потребности, повышения конкурентоспособности и благосостояния общества


Результаты обучения как предмет анализа

фото

фото

Основные достижения:-Интерес и высокая мотивация вузов к участию в таких исследованиях-Достижение определенного консенсуса между специалистами в области образования; слабая включенность в проект профессионального сообщества - работодателей Основные проблемы:-Иннновационная методология vs традиционный и слабый оценочный инструментарий: преобладание стандартных теоретических задач; слабая связь с профессиональным контекстом; ограниченность банка заданий…-Большая разница программ обучения между вузами: проблемы международной репрезентативной выборки; трудности сопоставления и оценки качества


Основные достижения и проблемы AHELO

фото

фото

LOLO

Работодатели (разные страны)

Работодатели (разные страны)

Образование (разные страны)

Образование (разные страны)

Общество (разные страны)

Общество (разные страны)


Перспективы развития AHELO

фото

фото

работодатели работодатели

обществообщество

образование

LOLO

Основные вопросы:-Возможности привлечения и достижения консенсуса между различными национальными и международными профессиональными организациями и сетями-Реальные возможности обеспечения связи образования и рынка труда (от ОПА до ОП процесса обеспечения качества) -Возможности учета меняющихся общественных интересов и потребностей

-Результаты оценки результатов обучения – важный источник информации для дальнейшей самооценки вузов, для корректировки стратегии развития, для бенчмаркинга (не для межвузовских сопоставлений!), альтернатива политике «5-100-2020»-Результаты анализа контекста результатов обучения – оценка студентами характера и сложности оценочных заданий и успешность выполнения студентами заданий различного типа; оценка студентами учебного процесса (чего пока не хватает) -Формирование консорциума заинтересованных вузов и межвузовских экспертных сетей по формированию и оценке результатов обучения по данным дисциплинарным направлениям-Хорошее позиционирование российских вузов в международном образовательном пространстве;-Возможности участия в разработке комплексной международной системы оценки качества подготовки в вузах и учета особенностей, интересов и потребностей отечественного образования в этом международном процессе


Что проект дал России

фото

фото

-Инновационного оценочного инструментария, позволяющего студентам применять свои знания и навыки в профессиональных контекстах (преобладание типовых задач, обычных для учебного процесса; незначительное соответствие заданий будущей профессиональной деятельности)-Умения решать такие инновационные задачи, навыков самостоятельного, авторского, творческого решения поставленной проблемы, умения синтезировать имеющиеся знания, навыков проектирования и создания нового знания на основе имеющегося (CRTs оказались трудновыполнимыми и одновременно более интересными для студентов)-Практики в ходе учебного процесса, практических занятий или на занятий по отработке навыков - лабораторных работ, эксперимент, полевые работ, а также групповой работы и дискуссионных форм обучения (лекционная форма остается преобладающей, учащийся остается преимущественно пассивным слушателем)- Реальной профессиональной практики (практика продолжительностью от 1 до 10 недель – более 50% студентов)

Оценка профессиональных (above-content ) умений и навыков при сохраняющейся традиционной организации учебного процесса с позиций методологии AHELO представляется преждевременной


Что пока не хватает? (оценка студентов)

фотъо

фото


Перспективы проекта в России

фото

фото

Необходимо продолжение национальных исследований с учетом методологии и опыта AHELO, что позволит: -Сохранить и расширить межвузовские экспертные сети; поддержать интерес и доверие российских вузов к такого рода исследованиям качества;- Усовершенствовать оценочный инструментарий с учетом выявленных слабых сторон использованного международного инструментария, прежде всего за счет активного взаимодействия с профессиональным сообществом и потенциальными работодателями;-Провести мониторинговое исследование в тех же вузах, что участвовали в исследовании 2012 года и получить более обоснованную и точную картину подготовки студентов по выбранным направлениям;- Использовать международную методологию проекта AHELO для совершенствования инструментария и процедур начатого в 2012 году апробационного цикла модели федерального экзамена бакалавров (ФЭБ)


Опыт ФЭБ

фото

фото

Цель: новый способ оценки образовательных результатов.Формирование консорциума вузов (10 вузов),Создание и апробация инструментария (три блока: открытые, с множественным выбором),Формирование выборки,Сбор данных: студенты, члены ГАК, внешние эксперты, руководство вузов, представители органов исполнительной власти, организаторы тестирования,Сбор информации о результатах экзаменов, поступлении в магистратуру, дополнительных испытаниях в вузахВыводы:Наполненность курсов разная независимо от ГОС,Задания с вычислениями и открытыми ответами являются сложными для студентов,Создана база ВКР, вопросов к ГАЭ,В некоторых вузах реализуются дополнительные квалификационные испытания,Многие эксперты согласны с необходимостью дополнительного профессионального испытания.

Подробнее о методологии:

OECD (2011), “A Tuning-AHELO Conceptual Framework of Expected Desired/Learning Outcomes in Engineering”,OECD Education Working Papers, No. 60, OECD Publishing. doi: 10.1787/5kghtchn8mbn-en

OECD (2011), “Tuning-AHELO Conceptual Framework of Expected and Desired Learning Outcomes in Economics”, OECD Education Working Papers, No. 59, OECDPublishing.doi: 10.1787/5kghtchwb3nn-en

OECD (2012) AHELO Feasibility Study Report. Volume 1. Design and Implementation (http://www.oecd.org/education/highereducationandadultlearning/AHELOFSReportVolume1.pdf)OECD (2013) AHELO Feasibility Study Report. Volume 2. Data analysis and national experience (http://www.oecd.org/edu/skills-beyond-school/AHELOFSReportVolume2.pdf)Высшая школа экономики, Москва, 2012

Методология проекта(2)

фото

фото

http://www.oecd.org/education/highereducationandadultlearning/AHELOFSReportVolume1.pdf

http://www.oecd.org/education/highereducationandadultlearning/AHELOFSReportVolume1.pdf

http://www.oecd.org/edu/skills-beyond-school/AHELOFSReportVolume2.pdf

Целевая аудитория:основная - выпускники бакалавриата (4-й курс) и/или 4-й курс специалитетадополнительная целевая аудитория – преподаватели по профильным предметам Создание консорциума вузов-участников (примерно 10 вузов в каждой стране-участнице), желательно разных по типу, территориальному размещению, контингенту учащихся и т.д.

Основные требования к разработке выборки:Случайная стратифицированная выборка (одноступенчатая или многоступенчатая) Доля участия – 75 % от включенных в выборкуОжидаемый размер выборки для студентов – 200 человек от вуза (150 человек – реальное участие с учетом 25% не участвующих)Если менее 200 или чуть более 200 – включаются все Ожидаемый размер выборки для преподавателей – 40 человек от вуза (30 человек – реальное участие с учетом 25% не участвующих) Если менее 40 или чуть более 40 – включаются все Не допускается замена не участвующих студентов и преподавателей (‘volunteer sampling’)


Методология проекта(3)

фото

фото

(1) Инструментарий AHELO для оценки результатов обучения студентов Онлайн тестирование продолжительностью 90 мин., состоящее из 2 типов заданий – задания с конструируемыми ответами и тестовые задания Экономика:-2 варианта открытых заданий, в каждом варианте 6-7 вопросов (студент решает один случайно выбранный вариант)- 50 тестовых заданий (студент решает 25 случайно выбранных)Инженерные науки: - 3 варианта открытых заданий, в каждом варианте 5-6 вопросов) (студент решает один случайно выбранный вариант)- 30 тестовых заданий (студент решает 10 случайно выбранных)


ИнструментарийAHELO

фото

фото

Инструментарий AHELO для оценки контекста результатов обучения

Заполнение онлайн вопросников (10 мин.)Для студентовДля преподавателейДля институциональных координаторов и администрации вузов


Инструментарий AHELO (2)

фото

фото

Вопрос по мировой торговле с развернутым ответом

Ниже приведена цитата из статьи 2010 г. чилийского экономиста Алехандро Фоксли Со времен 1960-х годов, когда страны со средним доходом начали использовать региональные торговые соглашения, значимость этих связей возрастает, поскольку глобальный экономический кризис сокращает спрос со стороны Соединенных Штатови других ключевых рынков. В связи с тем, что раунд переговоров по многосторонним торговым соглашениям в Дохе зашел в тупик, региональные торговые соглашения представляют собойальтернативный подход к росту торговли, стимулируют более значительный экономический рост и снижают уровень безработицы в странах-участницах.

А. Объясните, что Фоксли имел в виду в своем утверждении.Б. Опишите состояние мировой экономики в 2008-2009 гг.В. Как данные экономические условия могли привести Фоксли к своим выводам в 2010 г.?Г. Приведите два преимущества регионального торгового соглашения, на которое мог бы сослаться специалист в области экономики, и объясните почему. Д. Приведите два недостатка регионального торгового соглашения, на которое сослался бы экономист, и объясните почему.


Примеры заданий - Экономика (1)

фото

фото

Тестовые задания:

1. Светлана является единственным производителем устройства промышленной упаковки. Ее постоянные издержки составляют 125 000 российских рублей в год и переменные издержки для каждого производимого устройства равны 200 рублям. Светлана максимизирует прибыль, и спрос на ее продукцию имеет вид

X = 2400 - 2P,где

X = количество единиц продукции, иP = цена.

Чему равна максимальная годовая прибыль?(A) 500 000 рублей(Б) 400 000 рублей(В) 375 000 рублей(Г) 330 000 рублей

2. Город пытается решить, какой из двух видов электрических лампочек закупить на двухлетний период. Новая 60-ватная лампочка длительного пользования служит в среднем два года и стоит 0,39 российских рублей. Обычная 60-ватная лампочка служит в среднем один год и стоит 0,21 рублей. Обе потребляют одинаковое количество электроэнергии.Пусть ставка процента равна 5 процентам, темп инфляции составляет 0 процентов и цены лампочек остаются неизменными. Какова будет чистая приведенная стоимость (дисконтированная величина) сэкономленных городом средств в случае, если сегодня будет приобретено 100 000 лампочек длительного пользования?(A) 3000,00 рублей(Б) 2200,00 рублей(В) 2000,00 рублей(Г) 1800,00 рублей


Примеры заданий - Экономика (2)

фото

фото

Дополнительный инcтрументарий для оценки контекста результатов обучения (AHELO+)

Заполнение онлайн вопросников (15 мин.)

Экономика-для студентов www.hse.ru/ahelo/q -Для преподавателей www.hse.ru/ahelo/f

Инженернеы науки-Для студентов www.hse.ru/ahelo/ce- Для преподавателей www.hse.ru/ahelo/cef


Инструментарий AHELO+

фото

фото

http://www.hse.ru/ahelo/q








Инструментарий AHELO+ (2)

фото

фото

Тематические блоки студенческой анкеты:

•Характеристика программы обучения•Обучение в школе и поступление в вуз•Досуг•Процесс обучения на факультете•Планы по продолжению обучения и рабочие планы•Субъективная оценка навыков и способностей

Тематические блоки преподавательской анкеты:

•Общие сведения о работе и стаже•Научно-исследовательская работа•Преподавательская деятельность (стили и методики преподавания)•Оценка навыков и способностей студентов

III. Предварительные результаты реализации проекта в России и

перспективы дальнейшей работы по проекту


Генеральная совокупность и выборка

фото

фото

Объем генеральной совокупности

Объем выборки Объем участия AHELO

Объем участия AHELO +

Студенты-Эк. 3 756 2 900 2 400 1940

Преподаватели - Эк.

1 556 714 349 335

Студенты – Инж.

1 282 1 282 1 181 997

Преподаватели – Инж.

331 331 171 182

1. Проведено обучение ИК, администраторов тестирования и общественных наблюдателей методологии подготовки и проведения основного этапа исследования (в формате вебинаров);

2. Подготовлена репрезентативная стратифицированная выборка студентов и преподавателей на основе списков, предоставленных участвующими вузами;

3. Доработан международный инструментарий проекта AHELO; 4. Разработан дополнительный инструментарий для углубленного анализа

национального контекста компетенций студентов (дополнительные анкеты для студентов и преподавателей);

5. Проведена апробация онлайн платформы для проведения тестирования и опроса студентов, опроса преподавателей и координаторов

6. Проведено основное полевое исследование на апробированной онлайн платформе в соответствии с методологией проекта AHELO…


Работы 2012 (1)

фото

фото

8. Сформирована команда специалистов для оценки открытых оценочных заданий (скореров) и проведение их обучение методологии скоринга по проекту AHELO (в формате тренинга-семинара);

9. Проведен скоринг и результаты представлены в ACER; 10. Проведен анализ дополнительного анкетирования студентов и

преподавателей, организованного НИУ ВШЭ параллельно с основным исследованием AHELO;

11. Начат анализ данных основного исследования AHELO, предоставленных ОЭСР и ACER в распоряжение национальных исследователей в конце декабря 2012 года;

12. Подготовлены национальные материалы по для публикации в международных отчетах по проекту. Результаты и опыт реализации основного и дополнительного исследования представлены на международных и национальных конференциях и семинарах;

13. Разработаны предварительные рекомендации по возможностям использования методологии и инструментария проекта AHELO в ходе разработки независимой комплексной системы оценки качества высшего образования в контексте внедрения новых стандартов высшего профессионального образования и распространения компетентностного подхода в образовании в России.


Работы 2012 (2)

фото

фото

Устойчивый интерес и поддержка со стороны российских вузов. Высокая мотивация и интерес со стороны студентов, преподавателей, руководителей вузов

Реализация проекта AHELO в России как крупного межвузовского горизонтального проекта, направленного на формирование системы независимой оценки качества высшего образования

Начало формирования экспертной сети в области новых подходов к формированию и оценке компетенций (в терминах результатов обучения) студентов вузов

Использование экспертной сети и наработок AHELO при апробации Федерального экзамена для бакалавров (ФЭБ) по направлению Экономика в 2012


Основные результаты и эффекты проекта (1)

фото

фото

О методологии:OECD (2011), “A Tuning-AHELO Conceptual Framework of Expected Desired/Learning Outcomes in Engineering”,OECD Education Working Papers, No. 60, OECD Publishing. doi: 10.1787/5kghtchn8mbn-en

OECD (2011), “Tuning-AHELO Conceptual Framework of Expected and Desired Learning Outcomes in Economics”, OECD Education Working Papers, No. 59, OECDPublishing.doi: 10.1787/5kghtchwb3nn-en

О результатах: OECD (2012) AHELO Feasibility Study Report. Volume 1. Design and Implementation (http://www.oecd.org/education/highereducationandadultlearning/AHELOFSReportVolume1.pdf)OECD (2013) AHELO Feasibility Study Report. Volume 2. Data analysis and national experience (http://www.oecd.org/edu/skills-beyond-school/AHELOFSReportVolume2.pdf)

О национальных результатах :Результаты и перспективы международной оценки российского высшего образования (по итогам реализации проекта AHELO в России) (готовится к публикации в Вопросах образования)


Подробнее о проекте AHELO

фото

101000, Россия, Москва, Мясницкая ул., д. 20Тел.: (495) 621-7983, факс: (495) 628-7931

www.hse.ru

Для получения дополнительной информацииМешкова Татьяна Анатольевна – [email protected]

www.hse.ru/ahelo/ www.oecd.org/edu/ahelo

Высшая школа экономики, Москва, 2013 hse.ru

Documents