evgeniy kotelva, sap che osborne, questionmark...Новые типы вопросов Новые...
TRANSCRIPT
Evgeniy Kotelva, SAPChe Osborne, Questionmark
Контроль знаний сотрудников, аттестации, сертификации на базе
лучших мировых практик применения SAP Assessment Management
by Questionmark
Знакомство с Questionmark
Евгений Котельва, SAP
Че Осборн, Questionmark
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 3Public
Questionmark – глобальный стратегический партнёр SAP
Основные сведения Основана в 1988
Офисы: США, Великобритания, Канада
Партнёры – в 27 странах мира
Questionmark предоставляет технологии и сервисы,
позволяющие организациям производить оценку знаний, компетенций и мнений сотрудников, подрядчиков, партнёров.
Заказчики Свыше 1000 заказчиков в мире
Корпоративные и государственные; Высшее образование; Регуляторы; Сертификационные центры
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 4Public
Questionmark
Разработка
Совместная
разработка
Новые типы
вопросов
Новые виды
тестов и
экзаминаций
Возможность
организации
опросов
Проведение
Прохождение тестирования
из любого места, с любого
устройства в любом
браузере
Защищенное тестирование
(идентификация
тестируемого, блокировка
возможностей списывания
или подлога результатов)
On-line & Off-line,
инфокиоски, печатные
формы
Анализ
Преднастроенные
отчеты
Кастомизация отчетов
Интеграция с BI
системами
SAP Assessment Management, cloud edition
SAP Assessment Management, on-premise edition
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 5Public
Соответствие регуляторным нормам• Контроль знания законов, требований
регуляторов, стандартов безопасности
• Подтверждение соответствия; сокращение рисков
Оценка, отбор и сертификация• Надёжные, достоверные тесты для
сертификации знаний и навыков
• Публичная фиксация, обоснованные кадровые решения
Проверка соответствия канала продаж• Обеспечение компетенции и знания
продуктов
• Повышение прибыли и рост удовлетворённости заказчиков
Проверка соответствия технического канала• Обеспечение компетенций и
подтверждение экспертизы технического и сервисного персонала
• Сокращение затрат, рост удовлетворённости заказчиков
Оценка и повышение качества обучения• Оценка знаний, навыков и мнений – до,
во время и после обучения
• Корректировка неверных представлений и поддержание знаний в актуальном состоянии
How Questionmark customers use assessment
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 6Public
SAP Education глобально использует Questionmark для
сертификаций
Ежегодно сертификацию проходят свыше 60.000 специалистов
Свыше 350,000
сертификаций
с 2007
Глобальное
интегрированное,
смешанное тестирование
Свыше 300
различных
тестов на
более чем 20
языках
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 7Public
Questionmark открывает новые возможности тестирования:
Дигностическиетесты,
определение реальных
компетенций и разрывов в
знаниях
Тесты перед обучением, в процессе и по
итогу
Аттестации и проверка знаний
сотрудников
Суммарная оценка
Сертификация и лицензирование
(контроль соответствия стандартам)
Internal & Regulatory
Compliance
Наблюдательное тестирование –
коуч/тренер/менеджер оценивает
работу сотрудника
наблюдая за ним во время рабочего процесса
Оценка знаний кандидатов на
замещение вакансий
Прокторинг –контроль
прохождения экзаменацииудалённым
специалистом
Тесты на любых
устройствах в любых
браузерах
Почему именно теперь?
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 9Public
Оценка имеет решающее значение, когда на кону жизнь, здоровье
сотрудников а так же риск нанесение их действиями ущерба компании и
окружающей среде
Life, Limb and Livelihood
on the line
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 10Public
Последние заголовки
СТРОИТЕЛЬНАЯКОМПАНИЯ ОШТРАФОВАНА НА$425,000, РУКОВОДИТЕЛЬ ОШТРАФОВАН НА$85,000, ПОСЛЕ ТОГО, КАК КАМЕНЩИКРАЗБИЛСЯНАСМЕРТЬ
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 11Public
Организации все чаще обращаются к интегрированной платформе
оценки, чтобы ответить на следующие актуальные вопросы...
Понравилось ли
им это?
Насколько они
усвоили это?
Могут ли они это
делать?
Можем ли мы
это доказать?
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 12Public
Как вам поможет тестирование?
Демонстрация принятых обязательств
Раннее выявление и предупреждение проблем
Понимание документа после обучения
Повышение качества знаний / актуализация знаний
Сокращение трудозатрат на обучение соответствию
Сокращение ошибок персонала
Почему Questionmark?
Che Osborne, Questionmark
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 14Public
Если для вас важно…
SAP Assessment
Management by
Questionmark
Большинство
конкурентных решений
Проведение тестов в режиме повышенных мер
безопасностиДА НЕТ
Решение, прошедшее глобальный аудит SAP ДА НЕТ
Поддержка SAP ДА НЕТ
Мощные отчёты в разрезе: Вопроса, Темы,
Экзаменации, Сотрудника, Группы и географического признака
ДА НЕТ
Свыше 20 типов вопросов, включающих мультимедиа,
drug&drop, hotspot и т.д.ДА НЕТ
Объединенная модель данных, разработка,
проведение, отчётностьДА НЕТ
Интеграция с экосистемой SAP, LSO, Business Objects
и т.д.ДА НЕТ
Защищённая совместная разработка ДА НЕТ
Широкие возможности управления Банком Вопросов ДА НЕТ
Наблюдательное тестирование ДА НЕТ
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 15Public
Questionmark обеспечивает достоверные результаты, позволяя…
Принимать обоснованные решения
Снижать риски нарушений стандартов, соответствия и требований регуляторов
Выравнивать компетенции персонала с целями организации
С высокой точностью распоряжаться инвестициями в обучение
Эффективно адаптировать новых сотрудников
Обеспечить компетенции менеджеров продаж
Обеспечить компетенции технического персонала
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 16Public
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 16Public
© 2016 SAP SE or an SAP aff iliate company. All rights reserved. Public 16
Достоверные результаты:
• Обоснованные
• Надёжные
• Соответствующие требованиям
безопасности
Как достигаются достоверные результаты:
1. Разработка, проведение теста и анализ его
результатов – всё в рамках одной системы
2. Технологии, для поддержки сложных
сценариев тестирования
Что обеспечивает
достоверность результатов
тестов?
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 17Public
Шаги организации достоверного тестирования
Планирование экзаменации
Разработка объектов: вопросов,
тестов
Компановкаэкзаменации
Пилотирование и обзор
ПроведениеАнализ
результатов
Безопасность
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 18Public
Как Questionmark помогает на каждом этапе…
Планирование экзаменации
Разработка объектов: вопросов,
тестов
Компановкаэкзаменации
Пилотирование и обзор
ПроведениеАнализ
результатов
Валидация контента с
учётом анализа рабочих процессов;
требования по
безопасности
Как проходят
экзаменации? Как сотрудники справляются с
экзаменациями?
Случайный выбор,
выбор по определённым
правилам вопросов из
Банка вопросов
Вовлечение экспертов,
знающих предметную область в совместную
разработку
Проведение в режиме
соблюдения особых мер безопасности; проведение
на планшетах и
смартфонах
Включение
“пилотных” вопросов,которые не влияют на
подсчёт баллов
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 19Public
Планирование экзаменации
Организация объектов в Банке вопросов, согласно тематической иерархии
Привязка гиперссылок к навыкам и компетенциям
Анализ рабочих процессов для проектирования экзаменаций
Безопасный доступ для предотвращения кражи/манипуляций с контентом
Управление переводом для поддержки мультиязычных экзаменаций
В фазе «Планирование» вам доступны
следующие возможности:
Planning assessment
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 20Public
Валидация контента с учётом анализа рабочих процессов
Задайте вопрос экспертам:
• Вы выполняете задание или контролируете его
выполнение?
• Насколько сложно выполнить эту задачу?
• Насколько важно выполнить эту задачу?
• Как часто выполняется
данная задача?
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 21Public
Пример использования Анализа
рабочих процессов
• Тестирование, как часть процесса адаптации и вводного обучения новых сотрудников
• Использовали Анализ рабочих процессов (JTA - Job Task Analysis) для выявления ключевых
задач / целей для каждого раздела учебной программы
• Каждый тест был согласован с опросником JTA для 50% наиболее эффективных
сотрудников
• Выявлены / установлены Высокие/Низкие/Средние
• Установлено общее количество вопросов на основе результатов
• Определён порог Сложности, параметры Значимости и Частоты на основе
усреднённых показателей исходя из ответов
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 22Public
Управление безопасностью через роли и полномочия
Provide users role-based access to content
Предоставление доступа
пользователям к контенту
на основе их ролей
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 23Public
Разработка теста
В фазе «Разработки»
вам доступны следующие возможности:
Разработчики вопросов имеют прямой доступ к авторской среде
20+ типов вопросов
Возможность использовать описание вопросов, включая медиа и математические уравнения
Контроль версионности вопросов для разбора апелляций
Простое взаимодействие для рецензентов вопросов, чтобы сделать вопросы максимально релевантными
Поиск вопросов для проверки их актуальности
Authoring items
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 25Public
Хранение истории исправлений вопросов для апелляций
Audit trail of edits and option to compare
versions or rollback”
Легкий контроль
исправлений,
используемый в
совместной разработке
Аудиторский след
исправлений, возможности
сравнения и «отката»
к прежней версии
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 26Public
Nebraska Public Power District используют Questionmark как
надёжное средство разработки и обеспечения защищённого
тестирования
Основные сведения:
• Крупная энергетическая компания в Небраске (США)
• 2200 сотрудников; годовая выручка $831M
Почему Questionmark?
• Простой браузерныйредактор вопросов с широкими возможностями и 20+ типами вопросов
• Наличие режимов прокторинга или
защищённого тестирования, блокирующего возможность переключение между
задачами
• Тесты на бумажных носителях (print/scan)
• Прямая интеграция с SAP Enterprise Learning “Мы предоставили нашим учащимся
‘сервис одного окна’ по обучению, на что,
собственно и рассчитывали”- Tim Pospisil,
Technology & Telecoms Analyst
Результаты:
• Улучшение результатов обучения
• Сокращение затрат, сокращение тестов на бумажных носителях
• Получение квалификационного статуса в
режиме реального времени, избавляя учащихся от лишнего стресса
• Доступный интерфейс - SAP Web Portal
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 27Public
Компоновка экзаменаций (тестов)
Случайным образом выбирать вопросы из Банка Вопросов
Случайным образом назначать вопросы и порядок их отображения
Устанавливать проходной балл, включая тематические пререквизиты
Устанавливать лимиты времени для прохождения теста (и переопределение, если необходимо)
Предоставлять детальный скоринг по тематикам тестов и обратную связь
В фазе «Компоновки тестов» вам будут
доступны возможности:
Assembling assessment
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 28Public
Скоринг по темам и обратная связь
“Темы” вопросов
зафиксированные
в тесте
Балл по
темам
Корректирующая
обратная связь
указывает участнику на
необходимые ресурсы
для обучения
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 29Public
Случайный подбор или подбор вопросов из Банка Вопросов на
основе установленных правил
Изменяет внешний вид
теста всякий раз при
проведении, чтобы
ограничить
возможности
списывания или иных
обманных
манипуляций
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 30Public
Пилотирование и обзор
Легко проводить экзаменации с целью их обкатки
Фиксировать комментарии участников пилотирования для повышения валидности вопросов
Формировать полезные отчёты по результатам пилотного тестирования
Использовать экспериментальные вопросы не влияющие на подсчёт баллов
В фазе «Пилотирование и обзор» вам будут
доступны возможности:
Pilot and
review
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 31Public
Легко проводить экзаменации с целью обкатки
Фиксирует
комментарии
участников обкатки для
повышения валидности
вопросов
Beta-вопросы могут быть
включены в продуктивную
экзаменацию с фиксацией их
статуса как
«Экспериментальный». Таким
образом они собирают
статистику, но не влияют на
результат экзаменации.
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 32Public
Проведение
Смешанное тестирование, проведение на мобильных устройствах и в браузерах
Проведение наблюдательного тестирования
Возможность навигации между вопросами при прохождении
Фиксация временных рамок прохождения
Возможность запускать и контролировать тестирование из внешних систем
Масштабируемое безопасное прохождение тестов с поддержкой онлайн-прокторинга
В фазе «Проведение» вам будут доступны
возможности:
Delivery
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 33Public
Поддержка участников с ограниченными физическими
возможностями
Прохождение тестов также оптимизировано для
альтернативных устройств-манипуляторов и
средств считывания с экрана
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 34Public
Адаптивный дизайн тестов – идеален для наблюдательного
тестирования
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 35Public
Возможности проведения тестирования в условиях
повышенных мер безопасности
Windows
Mac iPad
Printing
Screen capture
Task switching
Control/system keys
Right-click / context menu
View source
Accidentally exiting exam
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 36Public
BNSF Railway при помощи Questionmark оценивает
35,000+ сотрудников по стандартам обеспечения
безопасности на жд транспорте
Основные данные
Одна из крупнейших
североамериканских жд
компаний
Свыше 40,000 сотрудников
в 28 штатах
Ресертификация
инженеров и кондукторов
каждые 3 года
Почему Questionmark?
Столкнулись с необходимостью
проводить аттестацию
одновременно на нескольких площадках
“Сохранять на ходу”
Необходимость использовать
вопросы с поддержкой мультимедиа,
drug&drop, hot spot, сопоставление, ранжирование и т.д.
Широкие возможности кастомизацииусловий тестирования и разработки
тестов
Доказанная возможность интеграции с SAP
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 37Public
Ведущий ритейлер по электронике оценивает знания о товарах
300,000 менеджеров по продажам в торговой сети при помощи
Questionmark
МасштабируемостьВозможность аттестовать
40,000 участников в час
Рост удовлетворённости сотрудников и
покупателейСокращение периода
разработки и тестов и
контроля знаний по продуктам, ускорение
актуализацией знаний
Интуитивно понятная разработка вопросов и
тестов
Быстрая и легкая
разработка отвечает
требованиям частого обновления продуктовых
релизов в короткие сроки
Почему
Questionmark?Результаты…
Возросшая прибыль
37Public© 2016 SAP SE or an SAP aff iliate company. All rights reserved.
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 38Public
Анализ результатов
Точное, достоверное, защищённое хранилище результатов
Только сотрудники со спец. доступом могут видеть защищённые результаты
«Анализ вопроса» отсеивает некачественные вопросы
«Анализ теста» для подсчёта достоверности
Широкий спектр точных отчётов для принятия профессиональных решений
Результаты могут быть анонимными, что помогает сделать опросы сотрудников честными
Потенциал “Big Data”, чтобы принимать объективные бизнес-решения
Фаза «Анализа результатов»
предоставляет следующие возможности:
Analyse results
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 39Public
Отчёты: Анализ Вопроса и Теста содержат полезные советы и
рекомендации
Сложность/
P-Value
Коррекция -Исключение
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 40Public
Финансовая организация использует Questionmark
демонстрации соответствия и подтверждения
компетентности сотрудников
“Аналитика и отчётность Questionmark помогает команде обучения
доносить значимость результатов опроса сотрудников - бизнесу.”
Основные сведения:
Начали использовать
Questionmark в 1999
Одновременно свыше 4000 сотрудников по всей
Африке могут проходить тестирование
В среднем в месяц проходит порядка 14,000экзаменаций
Почему Questionmark?
Детализированная и
разнообразная отчётность для документирования соответствия
Разнообразие комплекса типов
вопросов
Возможности смешанного
проведения
Доказанная прямая интеграция с SAP HR и Enterprise learning
solution (LSO-LMS)
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 41Public
Разнообразные авиакомпании управляют контролем
соответствия и оцениваю компетенции с помощью
Questionmark
Questionmark используется для
подтверждения, что члены экипажа
поддерживают на должном уровне знания
о технике безопасности полётов, знания по
результатам обучения, а также
подтверждают навык обслуживания
клиентов. Тесты также используются при
отборе кандидатов.
Сотрудники стоек регистрации
проходят экзаменации для
подтверждения понимания
продуктов, которые они продают.
Результаты тестирования
используются для определения
последующих направлений
обучения сотрудников.
© 2016 SAP SE or an SAP affi l iate company. All rights reserved. 42Public
Так почему же Questionmark?
Совместная одновременная разработка
•Защищенное
•С использованием браузера
•Доступное глобально
Смешанное проведение
•Адаптативныйдизайн, поддержка мобильных устройств
•Защищённое тестирование в процессе аттестаций и сертификаций
Отчётность и аналитика
•Свыше 30 отчётов и видов анализа
•Результаты, API
Мультиязычность
•Управление переводом
•Экраны, управление – на 36 языках
Интеграция
•Поддерживает все основные индустриальные стандарты
•APIs
•Коннекторы
Полный сервисный партнёр, которому доверяют во всём мире
© 2016 SAP SE or an SAP affi l iate company. All rights reserved.
Будем рады ответить на ваши вопросы
Евгений Котельва
Менеджер по продажам программных решений для обучения
моб.: +7 (965) 272 [email protected]
Спасибо за внимание!