PUANLAYICILAR ARASI UYUMUN FARKLI ÖLÇEKLEME TÜRLERİ, PUANLAYICI SAYISI VE PUANLANAN SAYISI AÇISINDAN İNCELENMESİ
Open Access
- 15 March 2023
- journal article
- research article
- Published by Dokuz Eylil University Graduate School of Social Sciences in Dokuz Eylül Üniversitesi Sosyal Bilimler Enstitüsü Dergisi
- Vol. 25 (1) , 227-245
Abstract
Bu araştırmada klasik kuramlara göre puanlayıcılar arası uyum katsayılarını karşılaştırmak amaçlanmıştır. Farklı ölçekleme türlerine göre elde edilen katsayılar üzerinden hesaplanan değerler arasındaki farka odaklanılmış ve ölçekleme türüne karar vermenin önemi ortaya konmuştur. Puanlanan ve puanlayıcı sayısının değişmesinin değerleri etkileyip etkilemediğine bakılmış ve genellenebilirlik kuramının optimizasyon analizi kullanılarak puanlayıcılar arası uyum için kullanılacak en uygun örneklem büyüklüğü hesaplanmıştır. Araştırmada toplamda 35 çocuğa Bender Görsel Motor Gestalt II testinin yaş gruplarında ortak olan 9 kopyalama kartı uygulanmış ve alınan ölçümler toplamda 8 puanlayıcı tarafından birbirlerine kör olarak değerlendirilmiştir. Sonuçlara göre en yüksek uyum değeri sınıf içi korelasyon katsayısında hesaplanmış ve bu değeri sırasıyla Krippendorff alfa, Fleiss kappa ve Cohen kappa takip etmiştir. Hem puanlanan hem de puanlayıcı sayısı azaldıkça uyum değerlerinin düşme eğiliminde olduğu tespit edilmiştir. Öte yandan kartların zorluk düzeyinin anlamlı bir etkisi olmadığı saptanmıştır. Genellenebilirlik katsayılarının yüksek çıkması testin puanlayıcılar tarafından güvenilir şekilde puanlandığını göstermiştir. Optimizasyon analizi incelendiğinde bu test için en uygun örneklem büyüklüğünün 50 olduğu görülmüştür. Katılımcı sayısının 50’den fazla olması ise uyumu arttırmamıştır.Keywords
This publication has 24 references indexed in Scilit:
- Resolving the 50‐year debate around using and misusing Likert scalesMedical Education, 2008
- Answering the Call for a Standard Reliability Measure for Coding DataCommunication Methods and Measures, 2007
- Effective number of subjects and number of raters for inter‐rater reliability studiesStatistics in Medicine, 2005
- Reliability in Content Analysis: Some Common Misconceptions and RecommendationsHuman Communication Research, 2004
- On the Reliability of Unitizing Continuous DataSociological Methodology, 1995
- Measuring nominal scale agreement among many raters.Psychological Bulletin, 1971
- Estimating the Reliability, Systematic Error and Random Error of Interval DataEducational and Psychological Measurement, 1970
- Large sample standard errors of kappa and weighted kappa.Psychological Bulletin, 1969
- A Coefficient of Agreement for Nominal ScalesEducational and Psychological Measurement, 1960
- Some New Test Criteria in Multivariate AnalysisThe Annals of Mathematical Statistics, 1955