<html>
Good questions, Gregory.<br><br>
You wrote: &quot;Overfitting items ... does the fit help us with
detecting them?&nbsp; What happens if you find them?&quot;<br><br>
Fit is relative so, in any usual set of items, about half the items will
overfit and half will underfit. Underfit and overfit are usually easy to
detect in Rasch analysis.<br><br>
Conspicuous underfit damages the usefulness of the measures through
unmodeled noise (unpredictability). This lack of predictability also
lessens the usefulness&nbsp; of an equating relationship in an empirical
situation. We are not really sure that measure X on one instrument
corresponds to measure Y on the other instrument.<br><br>
Conspicuous overfit (Guttman patterns) stretches out the measures along
the logit variable, so overstating reliability. But, in equating
situations of the Fahrenheit-Celsius variety, we know that one set of
logit measures stretches out the variable relative to the other set of
measures, so overfit really doesn't matter. It will merely change the
equating slope. In fact, we will be more sure that a measure of X on one
instrument corresponds to a measure of Y on the other instrument in
empirical situations.<br><br>
It would be interesting to find a Paper that demonstrates that overfit to
a Rasch model really does lead to misleading inferences in empirical
situations (apart from reliability coefficients).<br><br>
Mike L.<br><br>
At 6/1/2008, Stone, Gregory wrote:<br>
<blockquote type=cite class=cite cite><font size=2>I've done this several
times when the N is too small.&nbsp; My question regards local
independence.&nbsp; When I've done this in the past, I've (we've)
assessed the items for overfit and exceptionally high
point-biserials.&nbsp; It isn't perfect, but it can give us an idea as to
whether or not the requirement of local independence is met, even for the
calculation of item difficulties.&nbsp; Some journals are requiring this
to be done.&nbsp; So ...<br><br>
Is this really important in the estimation process for the purpose of
equating?&nbsp; (local independence)<br><br>
Overfitting items ... does the fit help us with detecting them?&nbsp;
What happens if you find them?</font></blockquote></html>