DINA modelde Q matrisinin hatalı belirlenmesinin farklı örneklem büyüklüklerinde parametre kestirimine ve bireylerin sınıflandırılmasına etkisi
Özet
Bireylerin ölçülen beceri ya da beceriler bakımından sınıflandırılmasının
geçerliği, ölçme aracındaki her maddenin, ölçtüğü becerilere göre sınıflandırmada farklı
etkiye sahip olmasıyla sağlanır. Bunu temel alan Bilişsel Tanı Modellerinde
çıkarımların kalitesi ve sınıflamaların doğruluğu, ölçme aracındaki madde-beceri
ilişkilerinin hatasız kurulmasına diğer bir deyişle Q matrisinin hatasızlığına bağlıdır. Q
matrisinin hatalı belirlenmesi bireyler hakkında verilen kararların hatalı olmasına sebep
olmaktadır. Bu nedenle, temel araştırma niteliğindeki bu çalışmada, DINA modele
uygun simülatif olarak oluşturulan farklı örneklem büyüklüklerindeki (250, 500, 1000)
veri setlerinde, 30 madde ile 4 beceri ölçülecek biçimde yapılandırılan Q matrisinin
farklı biçimlerde hatalı belirlenmesinin (düzen, oran, madde blokları, bağımlılık
ilişkisi), madde parametrelerine ve bireylerin sınıflandırılmalarına etkisi incelenmiştir.
Üç farklı örneklem büyüklüğü için, 20 farklı koşulda hatalı belirlenen Q matrislerine
ilişkin kestirimler, veri setine uygun hatasız Q matrisine ilişkin madde parametreleri ve
sınıflamalarla karşılaştırılmıştır. Parametre kestirimleri Bayes kestirimine dayanan
Markov Zinciri Monte Carlo yöntemi ile yapılmıştır. Gibbs örnekleyicisinde zincir
uzunluğu 5000, yakma periyodu ise 1000 olarak belirlenmiştir ve parametre kestirimleri
4000 iterasyona göre yapılmıştır. Q matrisinde eksik belirleme yapılan koşullarda, eksik
belirleme yapılan maddelere ilişkin kaydırma parametreleri ve bunlara ilişkin standart
hata değerleri, fazla belirleme yapılan koşullarda ise fazla belirleme yapılan maddelere
ilişkin tahmin parametreleri ve bunlara ilişkin standart hata değerleri gerçek değerinden
yüksek değerde kestirilmiştir. Ele alınan koşulların tümünde, parametre kestirimleri Q
matrisinin hatalı belirlenmesinden etkilenmektedir. Fakat bireylerin hatalı Q matrisi
kullanılarak olası farklı örtük sınıflara yerleştirilmelerindeki oranları ile hatasız Q
v
matrisi ile elde edilen sınıflama oranları farklılaşmamaktadır. Q matrisi hatalı
belirlendiğinde, incelenen tüm örneklem büyüklüğü koşullarında, parametre kestirimleri
hatalı olmaktadır ancak kestirimlerdeki hata miktarı örneklem büyüklüğüne göre
düzenli bir farklılaşma göstermemektedir.
The validity of the classification of individuals with respect to the attribute or
attributes that are tested, is provided when each item in the scale has a different effect
on the classification according to the tested attributes. In CDMs, based on this
condition, the quality of implications and the accuracy of classification depend on
developing proper item-attribute relationships, in other words, the correctness of Qmatrix.
Misspecification of the Q-matrix leads to the incorrect decisions about the
individuals. Therefore, the present study, serving as a fundamental research, investigates
the effect of the Q-matrix misspecification to be constructed to assess 30 items and 4
attributes in different ways (array, percentage, item blocks, dependency relationship) in
the data sets having differing sample sizes (250, 500, 1000), which are designed as a
simulation in accordance with the DINA model, on item parameters and classification
of individuals. It compares estimation for Q matrix that is misspecified in 20 different
conditions, item parameters and classifications with respect to the correctly estimated
Q-matrix appropriate to data set for three different sample sizes. Parameter estimations
were made using Marcov Chain Monte Carlo method based on Bayesian estimation.
The chain length was 5000 and the burn-in was 1000 in Gibbs sampling and parameter
estimation was made according to 4000 iteration. In case of under-specification in Qmatrix,
slipping parameters for under-specified items and their standard error values
related to these; in case of over-specification, guessing parameters related to overspecified
items and their standard error values related to these were overestimated.
Parameter estimation is affected by the Q-matrix misspecification in all of the
conditions discussed. However, the rate of placing individuals to the different latent
vii
classes by using the misspecified Q-matrix, and the classification ratios obtained
through the correctly estimated Q-matrix do not become distinct. When the Q-matrix is
misspecified, parameter estimation is expected to be faulty under all observed sample
size conditions. Nevertheless, the amount of error in estimation does not show a regular
variation in accordance with the sample size.