Madde parametre sapmasının bireye uyarlanmış testlerden elde edilen yetenek kestirimlerine etkisinin farklı koşullar altında incelenmesi

Abstract

Madde parametre sapması (MPS), maddelerin parametre değerlerinin bireylerin maddelere aşina olması, müfredat değişimi gibi çeşitli sebeplerle zaman içerisinde sistematik olarak farklılaşmasıdır. Bu durum bilgisayar ortamında bireye uyarlanmış testlerde (BOBUT) ortaya çıktığı durumda madde ve yetenek parametre kestirimlerinde hataya neden olmaktadır. Ancak MPS'nin BOBUT uygulamaları üzerinde, hangi koşullarda etkisi olduğu tam olarak bilinmemektedir. Bu doğrultuda bu çalışmanın amacı BOBUT uygulamalarında MPS'nin ölçme kesinliği, test bilgi fonksiyonu (TBF) ve test etkililiği üzerindeki etkisini incelemektir. Simülasyon çalışması olarak yürütülen bu çalışmada örneklem büyüklüğü (1000, 5000), MPS büyüklüğü (0.00 logit, 0.50 logit, 0.75 logit, 1.00 logit), MPS içeren madde yüzdesi (%0, %5, %10, %20), üç zaman noktası ve madde bankası büyüklüğü (200, 500, 1000) koşulları karşılaştırılmıştır. Belirtilen koşulların yetenek kestirimleri üzerindeki etkisini incelemek için ölçme kesinliği, test bilgi fonksiyonu ve test etkililiği değerleri hesaplanmış ve ölçme kesinliği ve test bilgi fonksiyonu açısından kestirimler arasında fark olup olmadığını incelemek için bağımsız örneklemler için üç faktörlü ANOVA analizi yapılmıştır. Araştırma sonucuna göre MPS büyüklüğü, MPS yüzdesi ve MPS'li madde bankası ile yapılan ölçme sayısı arttıkça ölçme kesinliği, test bilgi fonksiyonu ve test etkililiği azalmaktadır. Yapılan bağımsız örneklemler için üç faktörlü ANOVA analizleri de ölçme kesinliği ve test bilgi fonksiyonu açısından elde edilen farkların çoğunlukla istatistiksel olarak manidar olduğunu göstermiştir. Tüm MPS'li koşullar ölçme kesinliği, test bilgi fonksiyonu ve test etkililiğini olumsuz etkilese de örneklem büyüklüğü ve madde bankası büyüklüğünün bu faktörler üzerinde artan veya azalan yönde bir etkisinin olmadığını göstermiştir. Item parameter drift (IPD) is the differentiation of item parameters systematically due to different reasons such as curriculum change and overexposure of items. If IPD occurs in Computer Adaptive Testing (CAT), it causes errors in estimation of item and ability parameters. However, in which conditions IPD affect CAT applications is not known exactly. Accordingly, the purpose of this study is to examine the effect of IPD on measurement precision, test information function and test efficiency in CAT applications. This study was implemented as simulation a study and sample size (1000, 5000), magnitude of IPD (0.00 logit, 0.50 logit, 0.75 logit, 1.00 logit), percentage of IPD (%0, %5, %10, %20), three time points and item pool size (200, 500, 1000) factors were compared. To investigate the effect of these conditions on ability estimations measurement precision, test information function and test efficiency values were calculated. Moreover, to investigate the differentiation between values of measurement precision and test information function, multi-factor ANOVA for independent samples analysis were done. According to the results, as the magnitude of IPD, percentage of IPD and number of measurement increased, measurement precision, test information function and test efficiency decreased. Also, multi-factor ANOVA for independent samples analysis indicated that there were statistically significant differences in aspect of measurement precision and test information function. Despite all of IPD conditions affected the measurement precision, test information function and test efficiency negatively, there were no increasing or decreasing effect of sample size and size of item pool were observed.