<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 12 (filtered medium)">
<style>
<!--
 /* Font Definitions */
 @font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0cm;
        margin-bottom:.0001pt;
        font-size:11.0pt;
        font-family:"Calibri","sans-serif";}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
span.EmailStyle17
        {mso-style-type:personal-compose;
        font-family:"Calibri","sans-serif";
        color:windowtext;}
.MsoChpDefault
        {mso-style-type:export-only;}
@page Section1
        {size:612.0pt 792.0pt;
        margin:72.0pt 72.0pt 72.0pt 72.0pt;}
div.Section1
        {page:Section1;}
-->
</style><!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]-->
</head>
<body lang="EN-AU" link="blue" vlink="purple">
<div class="Section1">
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Hello, <o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">I recently ran an MFRM (FACETS) analysis of some data with examiner/item/student as facets. I produced a winsteps output file to investigate unidimensionality using PCA of residuals in Winsteps, with items as columns and students as rows.
<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Table 23.0 for this Winsteps analysis looked like the following, which I thought was quite a good result:
<o:p></o:p></p>
<p class="MsoNormal">Table of STANDARDIZED RESIDUAL variance (in Eigenvalue units)<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -- Empirical --&nbsp;&nbsp;&nbsp; Modeled<o:p></o:p></p>
<p class="MsoNormal">Total raw variance in observations&nbsp;&nbsp;&nbsp;&nbsp; =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 131.8 100.0%&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 100.0%<o:p></o:p></p>
<p class="MsoNormal">&nbsp; Raw variance explained by measures&nbsp;&nbsp; =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 45.8&nbsp; 34.8%&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 35.3%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Raw variance explained by persons&nbsp; =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 38.1&nbsp; 28.9%&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 29.3%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Raw Variance explained by items&nbsp;&nbsp;&nbsp; =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7.7&nbsp;&nbsp; 5.9%&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 5.9%<o:p></o:p></p>
<p class="MsoNormal">&nbsp; Raw unexplained variance (total)&nbsp;&nbsp;&nbsp;&nbsp; =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 86.0&nbsp; 65.2% 100.0%&nbsp;&nbsp; 64.7%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Unexplned variance in 1st contrast =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.9&nbsp;&nbsp; 1.5%&nbsp;&nbsp; 2.2%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Unexplned variance in 2nd contrast =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.8&nbsp;&nbsp; 1.4%&nbsp;&nbsp; 2.1%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Unexplned variance in 3rd contrast =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.8&nbsp;&nbsp; 1.3%&nbsp;&nbsp; 2.0%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Unexplned variance in 4th contrast =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.7&nbsp;&nbsp; 1.3%&nbsp;&nbsp; 2.0%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Unexplned variance in 5th contrast =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 1.6&nbsp;&nbsp; 1.2%&nbsp;&nbsp; 1.9%<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">HOWEVER, I then ran a couple of Winsteps analyses with simulated data files (as recommended) and got the below result (or similar) :
<o:p></o:p></p>
<p class="MsoNormal">As you can see there is now very little variance explained by measures and the strength of the 1st and 2nd contrasts is high! Is this a plausible result? I feel like I must be making a technical error but the simfiles look plausible (right
 number of items and people with scores in the correct range...) <o:p></o:p></p>
<p class="MsoNormal">Has anyone experienced this or know of a plausible explanation?
<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Table of STANDARDIZED RESIDUAL variance (in Eigenvalue units)<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; -- Empirical --&nbsp;&nbsp;&nbsp; Modeled<o:p></o:p></p>
<p class="MsoNormal">Total raw variance in observations&nbsp;&nbsp;&nbsp;&nbsp; =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 103.3 100.0%&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 100.0%<o:p></o:p></p>
<p class="MsoNormal">&nbsp; Raw variance explained by measures&nbsp;&nbsp; =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 17.3&nbsp; 16.8%&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 16.9%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Raw variance explained by persons&nbsp; =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3.1&nbsp;&nbsp; 3.0%&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 3.1%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Raw Variance explained by items&nbsp;&nbsp;&nbsp; =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 14.2&nbsp; 13.7%&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 13.8%<o:p></o:p></p>
<p class="MsoNormal">&nbsp; Raw unexplained variance (total)&nbsp;&nbsp;&nbsp;&nbsp; =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 86.0&nbsp; 83.2% 100.0%&nbsp;&nbsp; 83.1%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Unexplned variance in 1st contrast =&nbsp;&nbsp; &nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;9.2&nbsp;&nbsp; 8.9%&nbsp; 10.7%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Unexplned variance in 2nd contrast =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 7.1&nbsp;&nbsp; 6.9%&nbsp;&nbsp; 8.2%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Unexplned variance in 3rd contrast =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2.9&nbsp;&nbsp; 2.8%&nbsp;&nbsp; 3.4%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Unexplned variance in 4th contrast =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2.6&nbsp;&nbsp; 2.5%&nbsp;&nbsp; 3.0%<o:p></o:p></p>
<p class="MsoNormal">&nbsp;&nbsp;&nbsp; Unexplned variance in 5th contrast =&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 2.1&nbsp;&nbsp; 2.0%&nbsp;&nbsp; 2.4%<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><b><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:#4D4D4D"><o:p>&nbsp;</o:p></span></b></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><b><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:#4D4D4D">Many thanks<o:p></o:p></span></b></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><b><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:#4D4D4D">IMOGENE ROTHNIE</span></b><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;
color:#4D4D4D">&nbsp;|
 Lecturer (Assessment) <br>
Office of Medical Education | Faculty of Medicine&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; </span><b><span style="font-size:8.0pt"><o:p></o:p></span></b></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><b><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:#4D4D4D">THE UNIVERSITY OF SYDNEY</span></b><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;
color:#4D4D4D"><br>
Rm 108, Edward Ford Bdg&nbsp; A27 | The University of Sydney | NSW | 2006&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; <b><br>
T</b> &#43;61 2 9036&nbsp;6434 &nbsp;| <b>F</b> &#43;61 2 9036&nbsp;</span><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:#333333">7580</span><span style="font-size:9.5pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:#333333">
</span><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:#4D4D4D">&nbsp;&nbsp;|
<b>M</b> &#43;61 418 381 359 &nbsp;<br>
<b>E</b> </span><b><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;"><a href="mailto:imogene.rothnie@sydney.edu.au"><span style="color:blue">imogene.rothnie@sydney.edu.au</span></a></span></b><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:#4D4D4D">&nbsp;
 | <b>W</b> </span><span style="font-size:8.0pt"><a href="http://sydney.edu.au"><b><span style="font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:blue">http://ome.med.usyd.edu.au</span></b></a></span><b><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:#4D4D4D">
</span></b><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:#4D4D4D"><o:p></o:p></span></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto"><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;color:#4D4D4D">CRICOS 00026A<br>
This email plus any attachments to it are confidential. Any unauthorised use is strictly prohibited. If you receive this email in error, please delete it and any attachments.<o:p></o:p></span></p>
<p class="MsoNormal"><span style="font-size:8.0pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;;
color:#4D4D4D">Please think of our environment and only print this e-mail if necessary</span><span style="font-size:8.0pt;color:#4D4D4D">.</span><b><span style="font-size:8.0pt;color:green">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
</span></b><o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
</body>
</html>