Метрики и их значимость для EdTech
Сегодня EdTech стремится всё измерять, уделяя особое внимание метрикам, чтобы понять, как пользователи реагируют на контент, нравится ли он им или нет.
Метрики — это количественные показатели, используемые для оценки и анализа производительности, эффективности или успеха различных процессов, проектов, систем или действий.
Если кратко, метрики можно разложить по модели Киркпатрика:
🔎 Реакция (понравилось ли обучение учащимся) — метрики удовлетворенности, такие как CSAT (Customer Satisfaction Score) или CSI (Customer Satisfaction Index). Тут лучше выбрать, что-то одно, а именно CSI.
🔎 Обучение (какие знания и навыки были усвоены? Насколько хорошо?) — метрики качества обучения, такие как COR (Completion Rate) и процент возвратов.
🔎 Поведение (применяются ли полученные знания и навыки на практике) — метрики прогресса ученика и доля выполняющих задания.
🔎 Результаты (какое влияние обучение оказало на организацию в целом) — доля высоких и низких оценок.
Однако возникает вопрос, почему мы хотим считать метрики, но не всегда хотим анализировать, что влияет на те или иные показатели.
🌟 Ответ на этот вопрос прост: мы не всегда понимаем, как измерить, например, прогресс ученика. Сделал он задание хорошо, стал преуспевать, а что дальше? Что значит хорошо, как с этим работать?
И здесь на помощь приходит таксономия образовательных результатов. Именно по ней можно и нужно разрабатывать учебные материалы и тесты, которые предоставляются ученикам в процессе обучения. Сопоставляя теорию и практику с уровнями таксономии, можно анализировать, как задания влияют на учащихся, какой уровень обработки знаний они демонстрируют, что требует доработки для повышения качества обучения и, как следствие, улучшения метрик.
🌟 Этим, кстати, занимаются пед. дизайнеры. Они должны уметь разрабатывать стратегию разработки программ и курсов, которые измеряют нужные показатели, интерпретировать результаты и помогать авторам курсов совершенствовать их материалы.
Метрика удовлетворенности учащихся: CSI (Customer Satisfaction Index)
Обучение всегда было и остается важной составляющей личностного и профессионального роста. В последнее время особенно важно стало учитывать мнение учащихся о качестве предоставляемого обучения. Одной из ключевых метрик для оценки удовлетворенности является CSI (Customer Satisfaction Index).
Что такое CSI?
CSI (Customer Satisfaction Index) — это индекс удовлетворенности клиентов, который используется для измерения степени удовлетворенности услугами или продуктами (эффективнее, чем CSAT). В контексте образовательных программ, CSI помогает оценить, насколько обучение соответствовало ожиданиям учащихся и удовлетворило их потребности.
Почему важен CSI в образовании?
🔎 CSI предоставляет ценную обратную связь, позволяя компаниям понять, что работает хорошо, а что требует улучшений.
🔎 Высокий индекс удовлетворенности учащихся указывает на высокое качество преподавания и содержания курса.
🔎 Систематическое использование CSI позволяет корректировать и адаптировать учебные программы в соответствии с пожеланиями и потребностями студентов.
🔎 Удовлетворенные учащиеся с большей вероятностью будут рекомендовать компанию другим, что позитивно скажется на её репутации.
Внедрение CSI в образовательный процесс
Для успешного внедрения CSI важно регулярно проводить опросы учащихся и анализировать результаты. На основе полученных данных необходимо корректировать учебные программы, улучшать методы преподавания и адаптировать материалы под нужды учащихся.
Как формулировать вопросы для получения метрик?
Одной из непростых задач при сборе метрик является определение необходимых вопросов для студентов, чтобы понять, что сработало, что нет, и что делать дальше.
И тут на помощь приходят следующие последовательные шаги:
🔎 Распределить ключевые метрики по модели Кирпатрика.
🔎 Определить, какие материалы помогут измерить каждую метрику.
🔎 Составить опрос для сбора обратной связи от студентов по определенным метрикам.
Ответ на пункт 1 вы можете найти тут. В этом посте я расскажу о третьем пункте.
Разработка опроса: ключевые аспекты
🔎 Структура опроса:
〰️ Заголовок = приветствие + конфиденциальность (не анонимность, так как вы собираете адреса электронной почты).
〰️ Ключевые вопросы для сбора данных.
〰️ Благодарность за прохождение опроса.
🔎 Два вида опроса:
〰️ Опросы чередуются по урокам: 1-й урок - опрос 1; 2-й урок - опрос 2; 3-й урок - опрос 1; 4-й урок - опрос 2 и так далее.
〰️ Один опрос про пользу и внутреннюю мотивацию.
〰️ Другой опрос для сбора метрик оценки CSAT (материалы урока, тесты, разбор домашек, формулировка заданий, подача материала, общая оценка урока).
🔎 Количество вопросов:
〰️ В каждом опросе не более 6 вопросов.
🔎 Шкала оценки:
〰️ Вопросы оцениваются по 5-балльной шкале с четкими вариантами ответов. Примеры вариантов ответов указаны в прикрепленных файлах (лучше дополнительно указывать численную частотность).
🔎 Время на заполнение:
〰️ Опрос предоставляется в конце каждого изученного материала и занимает у студента не более 2 минут на заполнение.
🔎 Формулировки вопросов:
〰️ Четкие и ясные формулировки для респондентов.
〰️ Формулировки вопросов в одну строчку.
〰️ Избегайте социально-ожидаемых вопросов (например, "Кто помог вам сегодня разобраться в материале?").
〰️ Не включайте вопросы с закрытыми вариантами ответов (да/нет; согласен/не согласен; есть/нет и т.п.).
Следуя этим рекомендациям, вы сможете собрать качественные данные, которые помогут улучшить ваш образовательный продукт.
Больше уточняющих рекомендаций и примеров вы можете найти по ссылке
Сегодня EdTech стремится всё измерять, уделяя особое внимание метрикам, чтобы понять, как пользователи реагируют на контент, нравится ли он им или нет.
Метрики — это количественные показатели, используемые для оценки и анализа производительности, эффективности или успеха различных процессов, проектов, систем или действий.
Если кратко, метрики можно разложить по модели Киркпатрика:
🔎 Реакция (понравилось ли обучение учащимся) — метрики удовлетворенности, такие как CSAT (Customer Satisfaction Score) или CSI (Customer Satisfaction Index). Тут лучше выбрать, что-то одно, а именно CSI.
🔎 Обучение (какие знания и навыки были усвоены? Насколько хорошо?) — метрики качества обучения, такие как COR (Completion Rate) и процент возвратов.
🔎 Поведение (применяются ли полученные знания и навыки на практике) — метрики прогресса ученика и доля выполняющих задания.
🔎 Результаты (какое влияние обучение оказало на организацию в целом) — доля высоких и низких оценок.
Однако возникает вопрос, почему мы хотим считать метрики, но не всегда хотим анализировать, что влияет на те или иные показатели.
🌟 Ответ на этот вопрос прост: мы не всегда понимаем, как измерить, например, прогресс ученика. Сделал он задание хорошо, стал преуспевать, а что дальше? Что значит хорошо, как с этим работать?
И здесь на помощь приходит таксономия образовательных результатов. Именно по ней можно и нужно разрабатывать учебные материалы и тесты, которые предоставляются ученикам в процессе обучения. Сопоставляя теорию и практику с уровнями таксономии, можно анализировать, как задания влияют на учащихся, какой уровень обработки знаний они демонстрируют, что требует доработки для повышения качества обучения и, как следствие, улучшения метрик.
🌟 Этим, кстати, занимаются пед. дизайнеры. Они должны уметь разрабатывать стратегию разработки программ и курсов, которые измеряют нужные показатели, интерпретировать результаты и помогать авторам курсов совершенствовать их материалы.
Метрика удовлетворенности учащихся: CSI (Customer Satisfaction Index)
Обучение всегда было и остается важной составляющей личностного и профессионального роста. В последнее время особенно важно стало учитывать мнение учащихся о качестве предоставляемого обучения. Одной из ключевых метрик для оценки удовлетворенности является CSI (Customer Satisfaction Index).
Что такое CSI?
CSI (Customer Satisfaction Index) — это индекс удовлетворенности клиентов, который используется для измерения степени удовлетворенности услугами или продуктами (эффективнее, чем CSAT). В контексте образовательных программ, CSI помогает оценить, насколько обучение соответствовало ожиданиям учащихся и удовлетворило их потребности.
Почему важен CSI в образовании?
🔎 CSI предоставляет ценную обратную связь, позволяя компаниям понять, что работает хорошо, а что требует улучшений.
🔎 Высокий индекс удовлетворенности учащихся указывает на высокое качество преподавания и содержания курса.
🔎 Систематическое использование CSI позволяет корректировать и адаптировать учебные программы в соответствии с пожеланиями и потребностями студентов.
🔎 Удовлетворенные учащиеся с большей вероятностью будут рекомендовать компанию другим, что позитивно скажется на её репутации.
Внедрение CSI в образовательный процесс
Для успешного внедрения CSI важно регулярно проводить опросы учащихся и анализировать результаты. На основе полученных данных необходимо корректировать учебные программы, улучшать методы преподавания и адаптировать материалы под нужды учащихся.
Как формулировать вопросы для получения метрик?
Одной из непростых задач при сборе метрик является определение необходимых вопросов для студентов, чтобы понять, что сработало, что нет, и что делать дальше.
И тут на помощь приходят следующие последовательные шаги:
🔎 Распределить ключевые метрики по модели Кирпатрика.
🔎 Определить, какие материалы помогут измерить каждую метрику.
🔎 Составить опрос для сбора обратной связи от студентов по определенным метрикам.
Ответ на пункт 1 вы можете найти тут. В этом посте я расскажу о третьем пункте.
Разработка опроса: ключевые аспекты
🔎 Структура опроса:
〰️ Заголовок = приветствие + конфиденциальность (не анонимность, так как вы собираете адреса электронной почты).
〰️ Ключевые вопросы для сбора данных.
〰️ Благодарность за прохождение опроса.
🔎 Два вида опроса:
〰️ Опросы чередуются по урокам: 1-й урок - опрос 1; 2-й урок - опрос 2; 3-й урок - опрос 1; 4-й урок - опрос 2 и так далее.
〰️ Один опрос про пользу и внутреннюю мотивацию.
〰️ Другой опрос для сбора метрик оценки CSAT (материалы урока, тесты, разбор домашек, формулировка заданий, подача материала, общая оценка урока).
🔎 Количество вопросов:
〰️ В каждом опросе не более 6 вопросов.
🔎 Шкала оценки:
〰️ Вопросы оцениваются по 5-балльной шкале с четкими вариантами ответов. Примеры вариантов ответов указаны в прикрепленных файлах (лучше дополнительно указывать численную частотность).
🔎 Время на заполнение:
〰️ Опрос предоставляется в конце каждого изученного материала и занимает у студента не более 2 минут на заполнение.
🔎 Формулировки вопросов:
〰️ Четкие и ясные формулировки для респондентов.
〰️ Формулировки вопросов в одну строчку.
〰️ Избегайте социально-ожидаемых вопросов (например, "Кто помог вам сегодня разобраться в материале?").
〰️ Не включайте вопросы с закрытыми вариантами ответов (да/нет; согласен/не согласен; есть/нет и т.п.).
Следуя этим рекомендациям, вы сможете собрать качественные данные, которые помогут улучшить ваш образовательный продукт.
Больше уточняющих рекомендаций и примеров вы можете найти по ссылке
