<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=gb2312">
<META content="MSHTML 6.00.2900.3199" name=GENERATOR>
<STYLE>BLOCKQUOTE {
        MARGIN-TOP: 0px; MARGIN-BOTTOM: 0px; MARGIN-LEFT: 2em
}
OL {
        MARGIN-TOP: 0px; MARGIN-BOTTOM: 0px
}
UL {
        MARGIN-TOP: 0px; MARGIN-BOTTOM: 0px
}
</STYLE>
</HEAD>
<BODY>
<DIV><FONT face=Geneva color=#000000>This is an insteresting 
discussion.</FONT></DIV>
<DIV>&nbsp;</DIV>
<DIV>For your informaion. Courville 's (2004) dissertaion "An empirical 
comparison of item response theory and classical test theory item/person 
statistics"&nbsp;can be downloaded from the link below:</DIV>
<DIV><A 
href="http://txspace.tamu.edu/handle/1969.1/1064">http://txspace.tamu.edu/handle/1969.1/1064</A></DIV>
<DIV>&nbsp;</DIV>
<DIV>Cheers,</DIV>
<DIV>&nbsp;</DIV>
<DIV>Nianbo</DIV>
<DIV>&nbsp;</DIV>
<DIV>==</DIV>
<DIV><FONT face=Geneva color=#000000 size=-2></FONT>&nbsp;</DIV>
<DIV><FONT face=Geneva color=#000000 size=-2>I don't know that any other 
critique of Fan's Rasch work exists; so here's our two bits' worth</FONT></DIV>
<DIV><FONT face=Geneva color=#000000 size=-2>Bond &amp; Fox 2nd (@007) 
pp266-267</FONT></DIV>
<DIV><FONT face=Geneva color=#000000 size=-2><BR></FONT></DIV>
<DIV><FONT face=Geneva color=#000000 size=-2>Another pervasive view is that 
traditional</FONT></DIV>
<DIV><FONT face=Geneva color=#000000 size=-2>statistical approaches in the 
social sciences provide all the techniques<BR>sufficient for understanding data 
quantitatively. In other words, the Rasch model<BR>is nothing special and 
anything outside the scope of traditional statistics produces</FONT></DIV>
<DIV><FONT face=Geneva color=#000000 size=-2>little or no extra for all the 
extra work involved: special software, Rasch work-</FONT></DIV>
<DIV><FONT face=Geneva color=#000000 size=-2>shops, and books such as this one. 
In a large scale empirical comparison of IRT<BR>(including Rasch) and CTT item 
and person statistics in mandated achievement<BR>testing, Fan (1988) concluded 
that the intercorrelations between person indicators<BR>and between item 
indicators across Rasch, 2PL, 3PL IRT and CTT models were<BR>so high as not to 
warrant the extra effort of latent trait modeling.<BR>Because the IRT Rasch 
model (one parameter IRT model) assumes fixed item<BR>discrimination and no 
guessing for all items, the model only provides estimates<BR>for item parameter 
of difficulty. Because item difficulty parameter estimates<BR>of the Rasch model 
were almost perfectly related to CTT-based item<BR>difficulty indexes (both 
original and normalized), it appears that the one-parameter<BR>model provides 
almost the same information as CTT with regard to<BR>item difficulty but at the 
cost of considerable model complexity. Unless Rasch<BR>model estimates could 
show superior performance in terms of invariance<BR>across different samples 
over that of CTT item difficulty indexes, the results<BR>here would suggest that 
the Rasch model might not offer any empirical advantage<BR>over the much simpler 
CTT framework. (Fan, 1998, p. 371)<BR>Novices to Rasch measurement might ask, 
"How could that possibly be the<BR>case?" The explanation is really quite simple 
but goes to the very heart of the distinction<BR>canvassed in this volume 
between Rasch measurement on the one hand<BR>and general IRT- and CTT- based 
analyses on the other. Fan revealed, "As the<BR>tabled results indicate, for the 
IRT Rasch model (i.e., the one parameter IRT<BR>model), the relationship between 
CTT- and IRT- based item difficulty estimates is<BR>almost perfect" (p. 371). Of 
course, for both CTT and the Rasch model, N (number<BR>correct) is the 
sufficient statistic for the estimation of both item difficulty and<BR>person 
ability. However, for the Rasch model there is a crucial caveat: To 
the<BR>extent that the data fit the Rasch model's specifications for 
measurement, then N<BR>is the sufficient statistic. In light of the attention 
paid to the issues raised about<BR>Rasch model fit and unidimensionality in 
chapter 11, it is not so easy then to<BR>glide over the telling result of Fan's 
analyses: "Even with the powerful statistical<BR>test, only one or two items are 
identified as misfitting the two- and three-parameter<BR>IRT model. The results 
indicate that the data fit the two- and three-parameter<BR>IRT models 
exceptionally well" (Fan, 1988, p. 368). Or, should that be, the<BR>2PL and 3PL 
models that were developed accounted for these data very well? Fan<BR>went on to 
report, "The fit of the data for the one-parameter model, however, 
is<BR>obviously very questionable, with about 30 percent of the items identified 
as misfitting<BR>the IRT model for either test." (Fan, 1988, p. 368). Then, 
according to our<BR>approach to the fit caveat, only about 70% of the items 
might be used to produce<BR>a Rasch measurement scale in which N correct would 
be the sufficient statistic.<BR>Fan continued, "Because there is obvious misfit 
between the data and the one<BR>parameter IRT model, and because the 
consequences of such misfit are not<BR>entirely clear (Hambleton et al., 1991), 
the results related to the one-parameter<BR>IRT model presented in later 
sections should be viewed with extreme caution"</FONT></DIV>
<DIV><FONT face=Geneva color=#000000 size=-2>(Fan, 1988, p. 368). From our 
perspective, "[V]iewed with extreme caution"</FONT></DIV>
<DIV><FONT face=Geneva color=#000000 size=-2>would be better written as 
"dismissed as irrelevant to evaluating the value of the<BR>Rasch 
model."<BR>Given that the second and third item parameters (slope and guessing) 
are<BR>introduced into the 2PL and 3PL IRT models expressly for the purpose of 
reducing<BR>the variance not accounted for by the item difficulty parameter 
alone, we reasonably<BR>could expect (but do not always get) better fit of the 
2PL and 3PL IRT<BR>models to the data. Let us not be equivocal about how 
proponents of the Rasch<BR>model, rather than the authority cited by Fan, above, 
regard the role of fit statistics<BR>in quality control of the measurement 
process: "Rasch models are the only<BR>laws of quantification that define 
objective measurement, determine what is measurable,<BR>decide which data are 
useful, and exposes which data are not" (Wright,<BR>1999, p. 80). In other 
words, by this view, the results showing failure to fit the<BR>Rasch model 
should not merely be viewed with extreme caution, they should be<BR>dismissed 
out-of-hand for failing to meet the minimal standards required for 
measurement.<BR>Readers might wish to judge for themselves the extent to which 
Fan<BR>actually treated the Rasch results with extreme caution--but at the very 
minimum,<BR>unless the data for 30% of misfitting items are removed from the 
data analysis<BR>adopting the Rasch model the resultant Rasch versus IRT versus 
CTT comparisons<BR>remain misleading, invidious, or both.<BR>And would you like 
an invariant interval level measurement</FONT></DIV><X-SIGSEP><PRE>-- 
</PRE></X-SIGSEP>
<DIV><FONT face="Times New Roman" color=#000000>Trevor G BOND Ph D<BR>Professor 
and Head of Dept<BR>Educational Psychology, Counselling &amp; Learning 
Needs</FONT></DIV>
<DIV><FONT face="Times New Roman" color=#0000ff>D2-2F-01A EPCL Dept.<BR>Hong 
Kong Institute of Education<BR>10 Lo Ping Rd, Tai Po<BR>New Territories HONG 
KONG<BR><BR>Voice: (852) 2948 8473<BR>Fax:&nbsp; (852) 2948 7983</FONT></DIV>
<DIV><FONT face="Times New Roman" color=#0000ff>Mob:</FONT></DIV></BODY></HTML>