E-Learning: как оценить результаты?

Оценка эффективности: для чего?
А зачем? И что, собственно, надо оценивать?

Цели внедрения e-Learning
Частая ошибка – рассматривать только как средство снижения издержек на обучение
Цель – одно из средств повышения ОБЩЕЙ эффективности компании
Любой проект должен сверяться с общими бизнес-целями компании
Эффективность как достижение бизнес-целей с оптимальными издержками

Примеры целей
Пример 1
Экспансия в регионы. Бизнес- цель – быстро набрать персонал на местах и обучить до необходимого уровня
Пример 2
Компания в режиме жесткой экономии, нужно уволить часть сотрудников и дообучить других
В этих случаях разные цели – и для оценки эффективности нужно использовать разные показатели (необязательно финансовые!)

Риски
Создание и поддержка всеобъемлющей системы оценки эффективности требует затрат (порой, весьма существенных)
Компания развивается. К моменту построения системы оценки эффективности она уже не отвечает насущным потребностям

Если решаемся - вопросы:

ВАЖНО!
Вопросы оценки эффективности являются взаимосвязанными
Наиболее качественным окажется обучение, которое оценивается и дает хорошие результаты по большому спектру направлений оценки
Учтем - оценка искажает реальные результаты

Два подхода

Методики оценки
Дональда Киркпатрика или Джека Филипса
целевой подход Тайлера
прикладная теория Поля Кирнса
натуралистический подход Губа
бенчмаркинг
модель Скривенса
модель Стафлебима CIPP
схема CIRO
модель V Брюса Аарона
В России этот список ограничен первыми пятью пунктами.

Методики оценки

Уровни оценки (Киркпатрик)
Реакция слушателей
Обратная связь
Знания и опыт (компетенции)
Тестирование
Поведение на рабочем месте
Экспертная оценка
Влияние на бизнес компании
Консультанты
Экономическая эффективность
Return of Investments (ROI)

Система сбалансированных показателей
Методика ССП предлагает четыре направления оценки, отвечающие за все значимые вопросы в компании и находящиеся в сложных зависимостях между собой:
Они взаимосвязаны и необходимы для успешной работы любой компании. Однако для разных компаний эти направления имеют разную ценность (вес).

Система сбалансированных показателей

Роль LMS в оценке эффективности

Взгляд на e-Learning
Экономические показатели
Временные показатели

Пример
Эффективная презентация
Продажи по телефону (холодные звонки)
Продуктовая линейка

Пример
1. Бюджета не хватает
2. Сотрудник уволился
3. Нет возможности командировок

Пример: розничная сеть
89 филиалов, 82 города, 900 продавцов
Новая продуктовая линейка раз в месяц

Пример: промышленное предприятие
22 000 сотрудников
Инструктаж и аттестация по технике безопасности – около 15 000 человек

Преимущества e-Learning
Сроки обучения не зависят от количества обучаемых
Низкая стоимость обучения на человека

Что нужно для e-Learning?

В комплексе

Пример оценки электронных курсов
Матрица эффективности – при структурированном подходе можно количественно оценить эффективность применения разных типов электронного контента

Составление бюджета проекта
Внедрение LMS
Закупка курсов
Разработка курсов
Время сотрудников
IT-отдел
HR-отдел
Корпоративный университет
Все сотрудники

Пример расчета
Базовые показатели (очно/дистанционно)
Технолог. Курс «Стеллажная система ЛОФТ»
Часовая зарплата – 170 рублей
Длительность курса – 16/8 часов
Стоимость курса – 6000/360 рублей
Важность навыков – 5
Бизнес-результаты (4-й уровень)
За 10 часов рабочего времени после изучения курса выполняется работа, равная по объему выполняемой в среднем за 31 час до изучения курса
Пример расчета

Пример расчета
Затраты компании
170 р. (часовая зарплата) * 16 часов курса + 6000 р. (стоимость курса) = 8 720р (1 720р)
Экономия в неделю за счет увеличения эффективности работы
(31 час – 10 час) * 170 р. зарплаты = 3 570 р.
Экономия за 3 месяца (13 недель)
13 * 3570 = 46 410 р.

Пример расчета
ROI (очно) =
Добавленная стоимость / Инвестированные средства =
((46 410 – 8 720) / 8 720) * 100 %
= 432,1 %
Период возврата (очно) =
(100% * Период оценки) / ROI =
(100% * 65)/ROI = 6 500/432 =
= 15 дней
Это может быть распространено на сотрудников с важностью навыков, равной 5

Пример расчета
ROI (дистанционно) =
Добавленная стоимость / Инвестированные средства =
((46 410 – 1 720) / 1 720) * 100 %
= 2598,3 %
Период возврата (дистанционно) =
(100% * Период оценки) / ROI =
(100% * 65)/ROI = 6 500/2598 =
= 2,5 дней
Столь высокий ROI типичен для эффективных проектов e-learning в подходящих сферах (IBM)

Выводы
Проблемы эффективности обучения должны рассматриваться в контексте общей эффективности деятельности компании и быть в сфере внимания топ-менеджеров

Практикум