<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<META content="MSHTML 6.00.6000.16587" name=GENERATOR></HEAD>
<BODY>
<DIV dir=ltr align=left><SPAN class=719063302-02062008><FONT face=Arial 
color=#0000ff size=2>Mike.&nbsp;</FONT></SPAN><SPAN 
class=719063302-02062008><FONT face=Arial color=#0000ff size=2><SPAN 
class=719063302-02062008><FONT face=Arial color=#0000ff size=2>If there is a 
different unit, in principle the responses in frames of reference that have 
different units (due to different levels of discrimination) need to be modelled 
separately first then brought onto a common scale. Higher discrimination 
produces responses for which the Guttman pattern is more likely, other things 
being equal. </FONT></SPAN>I've shown cases in which differences in the levels 
of discrimination produce very misleading inferences in empirical situations if 
they are not dealt with appropriately.</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=719063302-02062008><FONT face=Arial 
color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=719063302-02062008></SPAN><SPAN 
class=719063302-02062008><FONT face=Arial color=#0000ff size=2>Evidence of 
different levels of discrimination, from tests of fit,&nbsp;does not 
(necessarily) imply dependence though. It depends what you count as 
"overfit".</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=719063302-02062008><FONT face=Arial 
color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=719063302-02062008><FONT face=Arial 
color=#0000ff size=2>Steve</FONT></SPAN></DIV><BR>
<DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> rasch-bounces@acer.edu.au 
[mailto:rasch-bounces@acer.edu.au] <B>On Behalf Of </B>Mike Linacre 
(RMT)<BR><B>Sent:</B> Sunday, 1 June 2008 8:44 PM<BR><B>To:</B> 
rasch@acer.edu.au<BR><B>Subject:</B> [Rasch] Help with equating partial credit 
items in pre - post test<BR></FONT><BR></DIV>
<DIV></DIV>Good questions, Gregory.<BR><BR>You wrote: "Overfitting items ... 
does the fit help us with detecting them?&nbsp; What happens if you find 
them?"<BR><BR>Fit is relative so, in any usual set of items, about half the 
items will overfit and half will underfit. Underfit and overfit are usually easy 
to detect in Rasch analysis.<BR><BR>Conspicuous underfit damages the usefulness 
of the measures through unmodeled noise (unpredictability). This lack of 
predictability also lessens the usefulness&nbsp; of an equating relationship in 
an empirical situation. We are not really sure that measure X on one instrument 
corresponds to measure Y on the other instrument.<BR><BR>Conspicuous overfit 
(Guttman patterns) stretches out the measures along the logit variable, so 
overstating reliability. But, in equating situations of the Fahrenheit-Celsius 
variety, we know that one set of logit measures stretches out the variable 
relative to the other set of measures, so overfit really doesn't matter. It will 
merely change the equating slope. In fact, we will be more sure that a measure 
of X on one instrument corresponds to a measure of Y on the other instrument in 
empirical situations.<BR><BR>It would be interesting to find a Paper that 
demonstrates that overfit to a Rasch model really does lead to misleading 
inferences in empirical situations (apart from reliability 
coefficients).<BR><BR>Mike L.<BR><BR>At 6/1/2008, Stone, Gregory wrote:<BR>
<BLOCKQUOTE class=cite cite="" type="cite"><FONT size=2>I've done this several 
  times when the N is too small.&nbsp; My question regards local 
  independence.&nbsp; When I've done this in the past, I've (we've) assessed the 
  items for overfit and exceptionally high point-biserials.&nbsp; It isn't 
  perfect, but it can give us an idea as to whether or not the requirement of 
  local independence is met, even for the calculation of item 
  difficulties.&nbsp; Some journals are requiring this to be done.&nbsp; So 
  ...<BR><BR>Is this really important in the estimation process for the purpose 
  of equating?&nbsp; (local independence)<BR><BR>Overfitting items ... does the 
  fit help us with detecting them?&nbsp; What happens if you find 
them?</FONT></BLOCKQUOTE></BODY></HTML>