<html><head><meta http-equiv="Content-Type" content="text/html; charset=iso-2022-jp"><meta name="Generator" content="Microsoft Word 12 (filtered medium)"><style><!--
/* Font Definitions */
@font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:"MS PGothic";
        panose-1:2 11 6 0 7 2 5 8 2 4;}
@font-face
        {font-family:"\@MS PGothic";
        panose-1:2 11 6 0 7 2 5 8 2 4;}
/* Style Definitions */
p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"MS PGothic","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page WordSection1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.WordSection1
        {page:WordSection1;}
--></style></head><body lang="EN-AU" link="blue" vlink="purple"><div class="WordSection1"><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Greg and others,</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">&nbsp;</span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Steve Humphry and I recently extended the Outfit and Person Coefficient statistics (Wright &amp; Masters, 1982) to pairwise choice data analysed with the Bradley &ndash; Terry &ndash; Luce (BTL) model. The investigation was not a psychometric one, but one into the utility of incremental gains and losses under conditions of risk and uncertainty.</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">&nbsp;</span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">In this context, fit statistics indicate the degree of transitivity of pairwise choices, given the BTL utilities for sets of simple gambles. We found that the statistics were consistent with violation of first order stochastic dominance induced by event splitting operations in two sets of 5-branch simple gambles. For a set of binary gambles (2 branch gambles), the fit statistics were consistent with first order stochastic dominance as pairwise choice behaviour was highly transitive. To compare the degree of transitivity between sets of gambles, we used the person coefficient, which indicated that there was twice as much noise in the 5-branch sets of gambles compared to the binary gambles. This was consistent with event splitting significantly interfering with choice behaviour under risk.</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">&nbsp;</span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">In utility theory, there is much in the way of established, descriptive theory, such as expected utility theory (Bernoulli, 1738; von Neumann &amp; Morgenstern, 1944), cumulative prospect theory (Kahneman &amp; Tversky, 1979; Tversky &amp; Kahneman, 1992) and configural weighting utility (Birnbaum, 2008). All these non-stochastic theories predicted first order stochastic dominance would hold for the binary gambles, so the results Steve and I obtained with the stochastic BTL model were consistent with these theories. Configural weighting, however, predicted violations of dominance with the 5-branch gambles, but the pattern of violation we observed was not consistent with configural weighting, as the BTL utility spreads did not behave as predicted. It would seem that violations of dominance are caused by choice errors, not an underlying psychology of configural weighting, which is consistent with the &ldquo;bounded rationality&rdquo; hypothesis advocated by the behavioural finance economist Levy (2008).</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">&nbsp;</span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">So, what fit statistics are able to tell you depends entirely upon how much you already know about the relevant, psychological system. Completely relying upon them as evidence of the behaviour of a single, relevant psychological quantity is far too much to ask of them.</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">&nbsp;</span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Cheers,</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">&nbsp;</span></p><p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">Andrew</span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;color:#1f497d">&nbsp;</span></p><div><div style="border:none;border-top:solid #b5c4df 1.0pt;padding:3.0pt 0cm 0cm 0cm"><p class="MsoNormal">
<b><span lang="EN-US" style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;">From:</span></b><span lang="EN-US" style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;"> <a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> [mailto:<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a>] <b>On Behalf Of </b>Stone, Gregory<br>
<b>Sent:</b> Wednesday, 7 March 2012 5:54 AM<br><b>To:</b> &lt;<a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a>&gt;<br><b>Subject:</b> Re: [Rasch] Negative pt-bis and fit of 1.0? How can this be?</span></p></div></div>
<p class="MsoNormal">&nbsp;</p><p class="MsoNormal">Sending this to you and not the listserv. &nbsp;I have come to the conclusion that apart from using it as one consideration for dimensionality, fit is a useless statistic when it comes to assessing reasonability of item performance. &nbsp;While I have no empirical evidence of this, gathered deliberately, it has appeared to me that time after time, decisions made with point biserials are consistently more reasonable than any made with fit, regardless of whether we accept the largely arbitrary range of fit so popularized in books like Bond and Fox, or the more rational fit calculated by folks like Smith. This appears to hold true for small datasets, where many items demonstrate fit concerns, and large datasets where everything, naturally, fits perfectly. Thoughts? </p>
<div><p class="MsoNormal">&nbsp;</p></div><div><p class="MsoNormal">Gregory</p><div><p class="MsoNormal">&nbsp;</p></div><div><p class="MsoNormal">&nbsp;</p><div><div><p class="MsoNormal">On Mar 6, 2012, at 1:46 PM, Mark Moulton wrote:</p>
</div><p class="MsoNormal"><br><br></p><p class="MsoNormal">Stuart, </p><div><p class="MsoNormal">&nbsp;</p></div><div><p class="MsoNormal">Belay my previous message (coffee hadn&#39;t kicked in yet).</p></div><div><p class="MsoNormal">
&nbsp;</p></div><div><p class="MsoNormal">You&#39;re right. &nbsp;Variances -- p * (1 - p) at the extreme of p (1 or 0) will be smaller, which should make the misfits bigger.</p></div><div><p class="MsoNormal">&nbsp;</p></div><div><p class="MsoNormal">
Could those cell probabilities p[ni] actually be close to 0.50? &nbsp;This would happen if the person measures tended to collapse to the center of the scale, an artifact of randomness.</p></div><div><p class="MsoNormal">&nbsp;</p></div>
<div><p class="MsoNormal" style="margin-bottom:12.0pt">Mark<br><br><br></p><div><p class="MsoNormal">On Tue, Mar 6, 2012 at 7:58 AM, Stuart Luppescu &lt;<a href="mailto:slu@ccsr.uchicago.edu">slu@ccsr.uchicago.edu</a>&gt; wrote:</p>
<p class="MsoNormal">Hello, I&#39;m analyzing items suggested for a course final exam. The<br>problem is that the students the items are tested on have not taken the<br>course yet. This results in very poor performance. The average person<br>
measure is -0.78, and the average item p-value is 0.33 (for 4-choice<br>multiple choice items).<br><br>What is confusing me is that all the items have mean-square fit<br>statistics (infit and outfit) near 1.0, while many of them have negative<br>
point-biserial correlations. According to my understanding, the fit<br>statistics are calculated from an aggregation of the squared<br>standardized residuals, which are calculated from the raw residual<br>divided by the score variance. In this case, the expectation of an<br>
individual response would be low, so raw residuals would be large. And<br>the score variance at the extremes are lower than in the middle, so you<br>divide a large raw residual by a small score variance and you get a very<br>
large standardized residual, right? So, how come the fits are close to<br>expectation? Especially since the pt-bis are low or negative? I don&#39;t<br>get it. Can someone explain this to me?<br><br>Thanks.<br>--<br>Stuart Luppescu -=- slu .at. <a href="http://ccsr.uchicago.edu/" target="_blank">ccsr.uchicago.edu</a><br>
University of Chicago -=- CCSR<br><span lang="JA">才文と智奈美の父</span> -=- &nbsp; &nbsp;Kernel 3.2.1-gentoo-r2<br>What we have is nice, but we need something very<br>&nbsp;different. &nbsp; &nbsp;-- Robert Gentleman<br>&nbsp;Statistical Computing 2003, Reisensburg (June<br>
&nbsp;2003)<br><br><br><br><br><br><br>_______________________________________________<br>Rasch mailing list<br><a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/markm%40eddata.com" target="_blank">https://mailinglist.acer.edu.au/mailman/options/rasch/markm%40eddata.com</a></p>
</div><p class="MsoNormal">&nbsp;</p></div><p class="MsoNormal">_______________________________________________<br>Rasch mailing list<br><a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/gregory.stone%40utoledo.edu">https://mailinglist.acer.edu.au/mailman/options/rasch/gregory.stone%40utoledo.edu</a></p>
</div><p class="MsoNormal">&nbsp;</p></div></div></div></body></html>