<HTML dir=ltr><HEAD><TITLE>Rasch equating doesn't adjust for changes in reliability?</TITLE>
<META content="text/html; charset=unicode" http-equiv=Content-Type>
<META name=GENERATOR content="MSHTML 8.00.6001.18939"></HEAD>
<BODY>
<DIV dir=ltr id=idOWAReplyText5000>
<DIV dir=ltr><FONT color=#000000 size=3 face="Times New Roman">Email sent on behalf of Stuart Luppescu</FONT></DIV></DIV>
<DIV dir=ltr><BR>
<HR tabIndex=-1>
<FONT size=2 face=Tahoma><B>From:</B> Stuart Luppescu [mailto:slu@ccsr.uchicago.edu]<BR><B>Sent:</B> Sat 9/10/2010 1:22 AM<BR><B>To:</B> rasch<BR><B>Subject:</B> Rasch equating doesn't adjust for changes in reliability?<BR></FONT><BR></DIV>
<DIV>
<P><FONT size=2>Hello Fellow Raschies, I'm doing some work analyzing data from a<BR>standardized test that will remain nameless here. In 2008, the<BR>authorities changed from scoring and equating using the Rasch model to<BR>using the 3-PL model. The justification was that in 2008 (compared to<BR>2007) there were sizable changes in the standard deviation of scale<BR>scores at certain grades. This resulted in the mean scale score<BR>declining by a small amount, but since the distribution spread out more,<BR>more students reached the proficiency level: an obvious contradiction<BR>(according to the testing authorities).<BR><BR>The Authorities concluded: "We needed to equate the tests at grades<BR>where reliability changed, using methodology that took changes in<BR>reliability into account (&#8220;3-parameter model&#8221; instead of &#8220;Rasch<BR>1-parameter model&#8221;)"<BR><BR>This sounds like a bunch of hooey to me. My take:<BR>1) Changes in variability (and, as a result, reliability) of test scale<BR>scores is a natural phenomenon and not related to the equating method.<BR>Maintaining score distributions (if you really want to do this) is taken<BR>care of in scaling, not in equating.<BR>2) The apparent contradiction (mean scale score not moving in the same<BR>direction as percentage meeting standards) is due to dichotomizing the<BR>distribution into two groups, "meets standards" and "doesn't meet<BR>standards", which is bound to produce loss of information and introduce<BR>problems.<BR>3) The switch from Rasch to 3-PL has nothing to do with practicality or<BR>superiority of one method, but just on the predilections of The<BR>Authorities.<BR><BR>Am I wrong? Is 3-PL actually better for equating when score<BR>distributions change?<BR><BR><BR>--<BR>Stuart Luppescu &lt;slu@ccsr.uchicago.edu&gt;<BR>University of Chicago<BR><BR></FONT></P></DIV></BODY></HTML>