<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=Windows-1252">
</head>
<body dir="auto">
<div>Exactly, Rense.</div>
<div>Two perfectly reasonable alternatives should produce INVARIANT results; that is the CORE of our system.</div>
<div>Lack of invariance requires explanation and understanding. NOT the hunt for some more acceptable result.</div>
<div>Collegially</div>
<div>TGB</div>
<div><br>
</div>
<div><br>
<br>
Sent from 007's iPad</div>
<div><br>
On 23/06/2013, at 10:15 AM, &quot;Rense Lange&quot; &lt;<a href="mailto:rense.lange@gmail.com">rense.lange@gmail.com</a>&gt; wrote:<br>
<br>
</div>
<blockquote type="cite">
<div>
<div><br>
</div>
Why lost? Finding and understanding such differences &nbsp;(and the limits of agreement) constitutes learning, but yes this may be hard and/or inconvenient. If reasonable answers really diverge there is no &quot;truth&quot; to be had - the other choice is dogma or adopting
 someone else's common sense (law, authority). Actually, not knowing/admitting that one is lost is far worse ...
<div><br>
</div>
<div>Rense Lange</div>
<div><br>
</div>
<div>
<div><br>
<div>
<div>On Jun 22, 2013, at 2:46 PM, Agustin Tristan &lt;<a href="mailto:ici_kalt@yahoo.com">ici_kalt@yahoo.com</a>&gt; wrote:</div>
<br class="Apple-interchange-newline">
<blockquote type="cite">
<div>
<div style="background-color: rgb(255, 255, 255); font-family: 'lucida console', sans-serif; font-size: 14pt; ">
<div style="RIGHT: auto"><span style="RIGHT: auto">I am&nbsp;again facing this problem according to Lucia's question and actual answers:</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto">Question: I am doing a research and have method A and method B, which is better?</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto">Answser 1: Do both and compare, if you do not find differences then&nbsp;both methods are the same, if you do find&nbsp;differences then both methods are different.</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto">Answer&nbsp;2:&nbsp;why do you use methods A and B? try method C.</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto">Answer 3 could be: </span><span style="RIGHT: auto">In the next step&nbsp;we can&nbsp;propose method D or any other procedure...and if&nbsp;researcher X&nbsp;has a software then method X is better, or if the agency Y uses method Y then method Y is better...</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto">I'm lost.</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto">Regards</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto">Agustin<var id="yui-ie-cursor"></var></span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; ">
<span style="RIGHT: auto"></span>&nbsp;</div>
<div></div>
<div>&nbsp;</div>
<div><b><font color="#0000bf" face="arial, helvetica, sans-serif">INSTITUTO DE EVALUACION E INGENIERIA AVANZADA.</font></b></div>
<div style="RIGHT: auto"><b style="RIGHT: auto"><font color="#0000bf" face="arial, helvetica, sans-serif"></font>
<div><font color="#0000bf" face="arial, helvetica, sans-serif"><br>
</font></div>
</b>
<div></div>
Ave. Cordillera Occidental No. 635</div>
<div style="RIGHT: auto">Colonia Lomas 4ª San Luis Potosí, San Luis Potosí.</div>
<div>C.P. 78216 MEXICO</div>
<div>(52) (444) 8 25 50 76 / (52) (444) 8 25 50 77 / (52) (444) 8 25 50 78</div>
<div>Página Web (en español): <a href="http://www.ieia.com.mx/" rel="nofollow" target="_blank">
http://www.ieia.com.mx/</a></div>
<div>Web page (in English): <a href="http://www.ieesa-kalt.com/English/Frames_sp_pro.html">
http://www.ieesa-kalt.com/English/Frames_sp_pro.html</a><br>
</div>
<div><br>
</div>
<div style="FONT-FAMILY: lucida console, sans-serif; FONT-SIZE: 14pt">
<div style="FONT-FAMILY: times new roman, new york, times, serif; FONT-SIZE: 12pt">
<div dir="ltr">
<div style="BORDER-BOTTOM: #ccc 1px solid; BORDER-LEFT: #ccc 1px solid; PADDING-BOTTOM: 0px; LINE-HEIGHT: 0; MARGIN: 5px 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; HEIGHT: 0px; FONT-SIZE: 0px; BORDER-TOP: #ccc 1px solid; BORDER-RIGHT: #ccc 1px solid; PADDING-TOP: 0px" class="hr" readonly="true" contenteditable="false">
</div>
<font size="2" face="Arial"><b><span style="FONT-WEIGHT: bold">From:</span></b> Rense Lange &lt;<a href="mailto:rense.lange@gmail.com">rense.lange@gmail.com</a>&gt;<br>
<b><span style="FONT-WEIGHT: bold">To:</span></b> <a href="mailto:rasch@acer.edu.au">
rasch@acer.edu.au</a> <br>
<b><span style="FONT-WEIGHT: bold">Sent:</span></b> Saturday, June 22, 2013 10:00 AM<br>
<b><span style="FONT-WEIGHT: bold">Subject:</span></b> Re: [Rasch] Rasch: analyze two versions of a test<br>
</font></div>
<div class="y_msg_container"><br>
<div id="yiv6255233474">
<div>
<div><br>
</div>
<div>Is there any way to have two or more raters evaluate the same people on a fairly large scale? If so, you can also check rater effects using Facets … Even if you had only very limited numbers of double/triple/ … ratings, large rater differences/biases would
 be a sign for caution.</div>
<div><br>
</div>
<div>Rense Lange</div>
<br>
<div>
<div>On Jun 22, 2013, at 8:17 AM, &quot;Bond, Trevor&quot; &lt;<a href="mailto:trevor.bond@jcu.edu.au" rel="nofollow" target="_blank" ymailto="mailto:trevor.bond@jcu.edu.au">trevor.bond@jcu.edu.au</a>&gt; wrote:</div>
<br class="yiv6255233474Apple-interchange-newline">
<blockquote type="cite">
<div>
<div>Dear Lucia</div>
<div>You do it both ways, expecting invariance.</div>
<div>Where you don't, you look for reasons.</div>
<div>Then choose.</div>
<div>TGB</div>
<div><br>
<br>
Sent from 007's iPad</div>
<div><br>
On 22/06/2013, at 12:19 PM, &quot;Lucia Luyten&quot; &lt;<a href="mailto:Lucia.Luyten@arts.kuleuven.be" rel="nofollow" target="_blank" ymailto="mailto:Lucia.Luyten@arts.kuleuven.be">Lucia.Luyten@arts.kuleuven.be</a>&gt; wrote:<br>
<br>
</div>
<blockquote type="cite">
<div>
<div style="FONT-FAMILY: Tahoma; DIRECTION: ltr; FONT-SIZE: 10pt">Hi
<div><br>
</div>
<div>I have a question about analyzing two versions of a test.&nbsp;</div>
<div><br>
</div>
<div>Say we have 130 items for a test. We make two versions of this test. In version A, we put items number 1 to 80 and in version 2 the items number 50 to 130. So items 50-80 are in both versions. In version A, the item numbers 1 to 30 are anchor items from
 a previous test. For these items, we know and use the measures from a previous Facets analysis. These anchor items (1-30) occur only in version A, not in version B.</div>
<div><br>
</div>
<div>About 400 candidates take version A, and about 250 take version B. The test is rated by 4 raters. Raters rate both versions, each test taker is rated by one random rater.</div>
<div><br>
</div>
<div>One might choose to take all candidates together for analysis. Or one can choose to first analyze version A separately (using the measures for the anchor items). &nbsp;And then use the outcome, i.e. the measures for the identical items (number 50-80) and the
 measures for the raters, in the subsequent analyses of version B.&nbsp;</div>
<div><br>
</div>
<div>Which way of analyzing is preferable and why is it?</div>
<div><br>
</div>
<div>Kind regards,&nbsp;</div>
<div><br>
</div>
<div>Lucia Luyten</div>
<div><br>
</div>
<div><br>
<div style="FONT-FAMILY: Tahoma; FONT-SIZE: 13px"><font size="2" face="Arial">
<div>
<div style="BORDER-BOTTOM: #ccc 1px solid; BORDER-LEFT: #ccc 1px solid; PADDING-BOTTOM: 0px; LINE-HEIGHT: 0; MARGIN: 5px 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; HEIGHT: 0px; FONT-SIZE: 0px; BORDER-TOP: #ccc 1px solid; BORDER-RIGHT: #ccc 1px solid; PADDING-TOP: 0px" class="hr" readonly="true" contenteditable="false">
</div>
</div>
<div>Lucia Luyten<br>
wetenschappelijk medewerker<br>
CNaVT / CTO / KULeuven<br>
Blijde-Inkomststraat 7 bus 3319<br>
3000 Leuven<br>
016 32 53 59<br>
fax 016 32 53 60<br>
<a href="mailto:lucia.luyten@arts.kuleuven.be" rel="nofollow" target="_blank" ymailto="mailto:lucia.luyten@arts.kuleuven.be">lucia.luyten@arts.kuleuven.be</a><br>
<div class="yiv6255233474MsoNormal"><a href="http://www.cnavt.org/" rel="nofollow" target="_blank">http://www.cnavt.org/</a></div>
<div class="yiv6255233474MsoNormal"><a href="http://www.cteno.be/" rel="nofollow" target="_blank">http://www.cteno.be/</a></div>
</div>
<div><br>
</div>
<div><font face="arial"></font><br>
&nbsp;</div>
<div>&nbsp;</div>
</font></div>
</div>
</div>
</div>
</blockquote>
<blockquote type="cite">
<div><span>_______________________________________________</span><br>
<span>Rasch mailing list</span><br>
<span><a href="mailto:Rasch@acer.edu.au" rel="nofollow" target="_blank" ymailto="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a></span><br>
<span>Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au" rel="nofollow" target="_blank">
https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au</a></span></div>
</blockquote>
</div>
_______________________________________________<br>
Rasch mailing list<br>
<a href="mailto:Rasch@acer.edu.au" rel="nofollow" target="_blank" ymailto="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>
Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/rense.lange%40gmail.com">
https://mailinglist.acer.edu.au/mailman/options/rasch/rense.lange%40gmail.com</a></blockquote>
</div>
<br>
</div>
</div>
<br>
_______________________________________________<br>
Rasch mailing list<br>
<a href="mailto:Rasch@acer.edu.au" ymailto="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>
Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com" target="_blank">
https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com</a><br>
<br>
</div>
</div>
</div>
</div>
</div>
_______________________________________________<br>
Rasch mailing list<br>
<a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>
Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/rense.lange%40gmail.com">
https://mailinglist.acer.edu.au/mailman/options/rasch/rense.lange%40gmail.com</a></blockquote>
</div>
<br>
</div>
</div>
</div>
</blockquote>
<blockquote type="cite">
<div><span>_______________________________________________</span><br>
<span>Rasch mailing list</span><br>
<span><a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a></span><br>
<span>Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au">
https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au</a></span></div>
</blockquote>
</body>
</html>