Stuart,<div><br><div>Great chart!</div><div><br></div><div>Although there is a straight-line relationship between the point biserials and fit, the fit statistics only range between 0.85 and 1.15, which all look &quot;fitting&quot; to the casual eye and would seem to be &quot;good&quot;. &nbsp;The point biserials, ranging from -0.20 to 0.40, tell the more useful story, which is that only around a third of the items (if that) are getting any traction on this test. &nbsp;The birds-eye explanation is that the data are so drenched in error that nothing misfits. &nbsp;</div>
<div><br></div><div>I&#39;m still thinking about the particulars of the probabilities going into your fit formula. &nbsp;I surmise that the overall error of the test has caused the person/item distributions to shrink and regress toward each other and produce probabilities near 0.50, which would cause the denominators in the cell fit formula to be maximized, which would minimize the appearance of misfit. &nbsp;I think if you loaded &nbsp;ones and zeros randomly into a data matrix and Rasch analyzed it you would get a similar pattern. &nbsp;(I wasn&#39;t kidding when I said a random number generator would be cheaper!)</div>
<div><br></div><div>I think this is a good example of why the usual fit statistics are often harder to interpret than good old point-biserials. &nbsp;The misfit scale changes as a function of overall measurement noise and has to be interpreted accordingly. &nbsp;The point-biserial scale can be interpreted in pretty much the same way regardless of underlying noise. &nbsp;A zero or negative point biserial is always bad. &nbsp;A point biserial greater than 0.5 or so is always good.</div>
<div><br></div><div>Mark Moulton</div><div><br></div><div><br></div><div><br><br><div class="gmail_quote">On Tue, Mar 6, 2012 at 12:25 PM, Stuart Luppescu <span dir="ltr">&lt;<a href="mailto:slu@ccsr.uchicago.edu">slu@ccsr.uchicago.edu</a>&gt;</span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div class="im">On Tue, 2012-03-06 at 11:28 -0800, Mark Moulton wrote:<br>
&gt; I&#39;ve kind of come around to the same point of view as you. &nbsp;Fit<br>
&gt; statistics are much more complex than point-biserials (or their Rasch<br>
&gt; equivalent) and are driven by lots of factors, making them harder to<br>
&gt; interpret. &nbsp;Does an item fit the construct of a test? &nbsp;A fit statistic<br>
&gt; may or may not give a clear answer to that question. &nbsp;Point-biserials<br>
&gt; almost always do.<br>
<br>
</div>In this case, I plotted the point-biserials against the fit statistics<br>
and came out with a (nearly) perfect straight line. It doesn&#39;t look like<br>
either is any better than the other. (I also did it for the standardized<br>
fit statistic and that plot looks similar, but slightly curved.) The<br>
plot can be viewed here:<br>
<br>
<a href="https://webshare.uchicago.edu/xythoswfs/webui/_xy-4342733_1-t_1rlZ33Vp" target="_blank">https://webshare.uchicago.edu/xythoswfs/webui/_xy-4342733_1-t_1rlZ33Vp</a><br>
<div class="im">--<br>
Stuart Luppescu -=- slu .at. <a href="http://ccsr.uchicago.edu" target="_blank">ccsr.uchicago.edu</a><br>
University of Chicago -=- CCSR<br>
才文と智奈美の父 -=- &nbsp; &nbsp;Kernel 3.2.1-gentoo-r2<br>
</div>Marc R. Feldesman: I&#39;m trying to figure out what<br>
&nbsp;could have possibly changed [...] that make Brian<br>
&nbsp;Ripley&#39;s posts (in particular) not show up on my<br>
&nbsp;mail server [...] Peter Dalgaard: Did you remember<br>
&nbsp;to turn off the Oxford-sarcasm filter? &nbsp; &nbsp;-- Marc<br>
&nbsp;R. Feldesman and Peter Dalgaard (Marc R. Feldesman<br>
&nbsp;having some &nbsp; &nbsp; &nbsp; e-mail problems) &nbsp; &nbsp; &nbsp; R-help<br>
&nbsp;(January 2005)<br>
<br>
<br>_______________________________________________<br>
Rasch mailing list<br>
<a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>
Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/markm%40eddata.com" target="_blank">https://mailinglist.acer.edu.au/mailman/options/rasch/markm%40eddata.com</a><br></blockquote></div><br></div>
</div>