The Role of Context in Scenario-Based Tasks for Measuring Universal Skills: The Use of Generalizability Theory
Author:
Open Access
- 6 November 2023
- journal article
- research article
- Published by National Research University, Higher School of Economics (HSE) in Voprosy Obrazovaniya / Educational Studies Moscow
- No. 3,p. 62-91
Abstract
В современных условиях большое внимание уделяется развитию и оцениванию универсальных навыков у школьников. Для такого оценивания необходимы новые тестовые форматы, основанные на наблюдаемых действиях учащегося в цифровой среде. Один из перспективных вариантов таких инструментов — контекстные задания сценарного типа. Однако контекстное разнообразие таких заданий может затруднять сравнение результатов. В статье анализируется роль контекста сценарных заданий при измерении двух универсальных навыков: критического мышления и коммуникации. С этой целью применяются методы теории генерализации, которые позволяют установить, в какой степени согласованными являются результаты, полученные с помощью разных контекстов сценарных заданий, и как путем изменения количества индикаторов или контекстов сценариев обеспечить достаточную надежность измерения. Исследование основано на данных, которые получены при тестировании учащихся 4-х классов с помощью разных заданий сценарного типа, входящих в состав инструмента «4К». Результаты анализа показали, что поведение тестируемых в сценариях с разным контекстом различается, при этом трудности контекстов практически одинаковы. Для достижения удовлетворительной надежности рекомендуется использовать минимум два сценария с разными контекстами, а использование трех и более сценарных заданий с разными контекстами позволяет существенно сократить количество индикаторов без потери надежности. В исследовании также оценивалась роль контекста при использовании альтернативных вариантов заданий. Альтернативные варианты схожи в основной проблеме и сюжете сценария, но различаются тематическим наполнением (контентом). Изменение только контента сценария позволяет экстраполировать результаты оценивания универсальных навыков на все варианты заданий, т. е. альтернативные варианты могут использоваться как взаимозаменяемые. Проведенное исследование демонстрирует возможности использования методов теории генерализации для оптимизации разработки заданий с учетом требований к надежности измерения.Keywords
This publication has 31 references indexed in Scilit:
- The reliability of single task assessment in longitudinal L2 writing researchJournal of Second Language Writing, 2022
- Examining the assessment of creativity with generalizability theory: An analysis of creative problem solving assessment tasks✰Thinking Skills and Creativity, 2022
- Automated and interactive game-based assessment of critical thinkingEducation and Information Technologies, 2021
- Computational Psychometrics: New Methodologies for a New Generation of Digital Learning and Assessment2021
- Investigating the effect of source characteristics on task comparability in integrated writing tasksAssessing Writing, 2019
- Application of Generalizability Theory to the Big Five InventoryPersonality and Individual Differences, 2014
- Generalizability theory: A practical guide to study design, implementation, and interpretationJournal of School Psychology, 2014
- Using multivariate generalizability theory to assess the effect of content stratification on the reliability of a performance assessmentAdvances in Health Sciences Education, 2010
- A BRIEF INTRODUCTION TO EVIDENCE‐CENTERED DESIGNETS Research Report Series, 2003
- When and where do we apply what we learn?: A taxonomy for far transfer.Psychological Bulletin, 2002