<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div><br></div><div>Is there any way to have two or more raters evaluate the same people on a fairly large scale? If so, you can also check rater effects using Facets  Even if you had only very limited numbers of double/triple/  ratings, large rater differences/biases would be a sign for caution.</div><div><br></div><div>Rense Lange</div><br><div><div>On Jun 22, 2013, at 8:17 AM, "Bond, Trevor" &lt;<a href="mailto:trevor.bond@jcu.edu.au">trevor.bond@jcu.edu.au</a>&gt; wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite">

<meta http-equiv="Content-Type" content="text/html; charset=us-ascii">

<div dir="auto">
<div>Dear Lucia</div>
<div>You do it both ways, expecting invariance.</div>
<div>Where you don't, you look for reasons.</div>
<div>Then choose.</div>
<div>TGB</div>
<div><br>
<br>
Sent from 007's iPad</div>
<div><br>
On 22/06/2013, at 12:19 PM, "Lucia Luyten" &lt;<a href="mailto:Lucia.Luyten@arts.kuleuven.be">Lucia.Luyten@arts.kuleuven.be</a>&gt; wrote:<br>
<br>
</div>
<blockquote type="cite">
<div>
<div style="direction: ltr; font-family: Tahoma; font-size: 10pt; ">Hi
<div><br>
</div>
<div>I have a question about analyzing two versions of a test.&nbsp;</div>
<div><br>
</div>
<div>Say we have 130 items for a test. We make two versions of this test. In version A, we put items number 1 to 80 and in version 2 the items number 50 to 130. So items 50-80 are in both versions. In version A, the item numbers 1 to 30 are anchor items from
 a previous test. For these items, we know and use the measures from a previous Facets analysis. These anchor items (1-30) occur only in version A, not in version B.</div>
<div><br>
</div>
<div>About 400 candidates take version A, and about 250 take version B. The test is rated by 4 raters. Raters rate both versions, each test taker is rated by one random rater.</div>
<div><br>
</div>
<div>One might choose to take all candidates together for analysis. Or one can choose to first analyze version A separately (using the measures for the anchor items). &nbsp;And then use the outcome, i.e. the measures for the identical items (number 50-80) and the
 measures for the raters, in the subsequent analyses of version B.&nbsp;</div>
<div><br>
</div>
<div>Which way of analyzing is preferable and why is it?</div>
<div><br>
</div>
<div>Kind regards,&nbsp;</div>
<div><br>
</div>
<div>Lucia Luyten</div>
<div><br>
</div>
<div><br>
<div style="font-family:Tahoma; font-size:13px"><font size="2" face="Arial">
<div>
<hr>
</div>
<div>Lucia Luyten<br>
wetenschappelijk medewerker<br>
CNaVT / CTO / KULeuven<br>
Blijde-Inkomststraat 7 bus 3319<br>
3000 Leuven<br>
016 32 53 59<br>
fax 016 32 53 60<br>
<a href="mailto:lucia.luyten@arts.kuleuven.be">lucia.luyten@arts.kuleuven.be</a><br><p class="MsoNormal"><a href="http://www.cnavt.org/">http://www.cnavt.org</a></p><p class="MsoNormal"><a href="http://www.cteno.be/">www.cteno.be</a></p>
</div>
<div><br>
</div>
<div><font face="arial"></font><br>
&nbsp;</div>
<div>&nbsp;</div>
</font></div>
</div>
</div>
</div>
</blockquote>
<blockquote type="cite">
<div><span>_______________________________________________</span><br>
<span>Rasch mailing list</span><br>
<span><a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a></span><br>
<span>Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au">
https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au</a></span></div>
</blockquote>
</div>

_______________________________________________<br>Rasch mailing list<br><a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>Unsubscribe: https://mailinglist.acer.edu.au/mailman/options/rasch/rense.lange%40gmail.com</blockquote></div><br></body></html>