<html xmlns:v="urn:schemas-microsoft-com:vml" xmlns:o="urn:schemas-microsoft-com:office:office" xmlns:w="urn:schemas-microsoft-com:office:word" xmlns:m="http://schemas.microsoft.com/office/2004/12/omml" xmlns="http://www.w3.org/TR/REC-html40">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">
<meta name="Generator" content="Microsoft Word 12 (filtered medium)">
<style>
<!--
 /* Font Definitions */
 @font-face
        {font-family:"Cambria Math";
        panose-1:2 4 5 3 5 4 6 3 2 4;}
@font-face
        {font-family:Calibri;
        panose-1:2 15 5 2 2 2 4 3 2 4;}
@font-face
        {font-family:Tahoma;
        panose-1:2 11 6 4 3 5 4 4 2 4;}
@font-face
        {font-family:Consolas;
        panose-1:2 11 6 9 2 2 4 3 2 4;}
 /* Style Definitions */
 p.MsoNormal, li.MsoNormal, div.MsoNormal
        {margin:0in;
        margin-bottom:.0001pt;
        font-size:12.0pt;
        font-family:"Times New Roman","serif";
        color:black;}
a:link, span.MsoHyperlink
        {mso-style-priority:99;
        color:blue;
        text-decoration:underline;}
a:visited, span.MsoHyperlinkFollowed
        {mso-style-priority:99;
        color:purple;
        text-decoration:underline;}
pre
        {mso-style-priority:99;
        mso-style-link:"HTML Preformatted Char";
        margin:0in;
        margin-bottom:.0001pt;
        font-size:10.0pt;
        font-family:"Courier New";
        color:black;}
span.EmailStyle17
        {mso-style-type:personal;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
span.HTMLPreformattedChar
        {mso-style-name:"HTML Preformatted Char";
        mso-style-priority:99;
        mso-style-link:"HTML Preformatted";
        font-family:"Consolas","serif";
        color:black;}
span.EmailStyle20
        {mso-style-type:personal-reply;
        font-family:"Calibri","sans-serif";
        color:#1F497D;}
.MsoChpDefault
        {mso-style-type:export-only;
        font-size:10.0pt;}
@page Section1
        {size:8.5in 11.0in;
        margin:1.0in 1.0in 1.0in 1.0in;}
div.Section1
        {page:Section1;}
-->
</style><!--[if gte mso 9]><xml>
 <o:shapedefaults v:ext="edit" spidmax="1026" />
</xml><![endif]--><!--[if gte mso 9]><xml>
 <o:shapelayout v:ext="edit">
  <o:idmap v:ext="edit" data="1" />
 </o:shapelayout></xml><![endif]-->
</head>
<body bgcolor="white" lang="EN-US" link="blue" vlink="purple">
<div class="Section1">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;
color:#1F497D">Thank you for the advice.&nbsp;
<a name="_MailEndCompose"><o:p></o:p></a></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;
color:#1F497D">I have run the analyses this way:
</span>1. If you want the examinee reliability for each circuit based on their overall measures, as using only their individual circuit measures as in option 2 below creates subsets in the data, equivalent to a subset per examiner. This is unsurprising as within
 a circuit examiners are nested within item (and there are 5 items). <o:p></o:p></p>
<p class="MsoNormal">Some aspects of the result are a little puzzling to me and I wonder if they discount the use of this analysis to establish a reliability for person (applicant) separation for each circuit. Firstly the estimation concludes after 2 iterations..is
 this because all the elements have anchor values, and essentially I am having one &#8216;other pass&#8217; at the data by separating the elements involved in a particular circuit out and, I guess, looking at the displacement from the original estimation values?<o:p></o:p></p>
<p class="MsoNormal">Secondly, and unsurprisingly now given the very small numbers of items and judges and applicants &#8211; I am getting significant results for the Model,&nbsp; Random (normal) chi-square, so the applicants can&#8217;t be considered to be a random sample
 from a normal population&nbsp; - does this mean the person separation reliability cannot be used? It seems quite high in some cases and I&#8217;m wondering if this might be the cause.
<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">I&#8217;m also getting Non significant results for the Model (All same) chi square. So I have to conclude the items/judges CAN be considered to be sharing the same measure in this case (not surprising as reliability is low for these facets)&#8230;if
 we are asking items of little reliable difference in difficulty and judging with a &#8216;similar&#8217; level of severity what impact does this have on applicant separation reliability?
<o:p></o:p></p>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal">Cheers <o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;
color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;
color:#1F497D"><o:p>&nbsp;</o:p></span></p>
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;;
color:windowtext">From:</span></b><span style="font-size:10.0pt;font-family:
&quot;Tahoma&quot;,&quot;sans-serif&quot;;color:windowtext"> rasch-bounces@acer.edu.au [mailto:rasch-bounces@acer.edu.au]
<b>On Behalf Of </b>Patrick B. Fisher<br>
<b>Sent:</b> Friday, February 22, 2013 1:25 PM<br>
<b>To:</b> rasch@acer.edu.au<br>
<b>Subject:</b> Re: [Rasch] Reliability of assessments run in circuits<o:p></o:p></span></p>
</div>
</div>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
<p class="MsoNormal"><span style="font-size:13.5pt;font-family:&quot;Arial&quot;,&quot;sans-serif&quot;">No, don't delete it just use a semicolon ; - anything that appears AFTER a semicolon FACETS ignores.<br>
<br>
Patrick</span><o:p></o:p></p>
<div>
<p class="MsoNormal">On 2/21/2013 7:48 PM, Imogene Rothnie wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;
color:#1F497D">Thanks very much Mike, I&#8217;m not sure what you mean by &#8216;comment out&#8217;? Delete?
</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;
color:#1F497D">&nbsp;</span><o:p></o:p></p>
<p class="MsoNormal"><span style="font-size:11.0pt;font-family:&quot;Calibri&quot;,&quot;sans-serif&quot;;
color:#1F497D">&nbsp;</span><o:p></o:p></p>
<div>
<div style="border:none;border-top:solid #B5C4DF 1.0pt;padding:3.0pt 0in 0in 0in">
<p class="MsoNormal"><b><span style="font-size:10.0pt;font-family:&quot;Tahoma&quot;,&quot;sans-serif&quot;;
color:windowtext">From:</span></b><span style="font-size:10.0pt;font-family:
&quot;Tahoma&quot;,&quot;sans-serif&quot;;color:windowtext">
<a href="mailto:rasch-bounces@acer.edu.au">rasch-bounces@acer.edu.au</a> [<a href="mailto:rasch-bounces@acer.edu.au">mailto:rasch-bounces@acer.edu.au</a>]
<b>On Behalf Of </b>Mike Linacre<br>
<b>Sent:</b> Friday, February 22, 2013 12:47 PM<br>
<b>To:</b> <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a><br>
<b>Subject:</b> Re: [Rasch] Reliability of assessments run in circuits</span><o:p></o:p></p>
</div>
</div>
<p class="MsoNormal">&nbsp;<o:p></o:p></p>
<div>
<p class="MsoNormal">Thank you for your question, Imogene.<br>
<br>
1. If you want the examinee reliability for each circuit based on their overall measures:<br>
With Facets, analyze the 24 circuits. Output an Anchorfile=af.txt with anchor values. Comment out all the circuits except one. Use the anchor file af.txt as the specification file of a Facets analysis. The candidate reliability for that circuit is reported.<br>
<br>
2. 1. If you want the examinee reliability for each circuit based on their measures for that circuit:<br>
With the Facets specification file for 24 circuits, comment out all the circuits except one. Use that as the specification file of a Facets analysis. The candidate reliability for that circuit is reported.<br>
<br>
OK?<br>
<br>
Mike L.<br>
<br>
On 2/21/2013 17:13 PM, Imogene Rothnie wrote:<o:p></o:p></p>
</div>
<blockquote style="margin-top:5.0pt;margin-bottom:5.0pt">
<p class="MsoNormal">I have run a FACETS analysis on an assessment where candidates perform 5 tasks out of a pool of 33 tasks. The 33 tasks are organized into 24 circuits of 5 items, all sharing a common anchor item.
<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">There isn&#8217;t much spread of difficulty between the tasks, and they are all actually fairly similar, and so the average difficulty of each circuit does not vary by any significant
 amount (important).<o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;HOWEVER, I am trying to ascertain the reliability of the assessment, per circuit, as these are the scores we rank candidates on, not the reliability reported for the 33 items overall
 as a facet of measurement . <o:p></o:p></p>
<p class="MsoNormal" style="mso-margin-top-alt:auto;mso-margin-bottom-alt:auto">&nbsp;I have included &#8216;circuit&#8217; as a group anchor dummy facet, so am assuming the reported (sample) reliability of 0.96 is not to be interpreted as , say, a Cronbach&#8217;s alpha like we
 might do for other facets.&nbsp; Does anyone know how I might be able to calculate or find output in FACETS that can reveal reliability of the assessment, for the candidate experience of 5 items?
<o:p></o:p></p>
</blockquote>
<p class="MsoNormal"><br>
<br>
<br>
<o:p></o:p></p>
<pre>_______________________________________________<o:p></o:p></pre>
<pre>Rasch mailing list<o:p></o:p></pre>
<pre><a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><o:p></o:p></pre>
<pre>Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/pfisher%40sportsmeasures.com">https://mailinglist.acer.edu.au/mailman/options/rasch/pfisher%40sportsmeasures.com</a><o:p></o:p></pre>
</blockquote>
<p class="MsoNormal"><o:p>&nbsp;</o:p></p>
</div>
</body>
</html>