<html><head><meta http-equiv="Content-Type" content="text/html charset=windows-1252"></head><body style="word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space; "><div><br></div>Why lost? Finding and understanding such differences &nbsp;(and the limits of agreement) constitutes learning, but yes this may be hard and/or inconvenient. If reasonable answers really diverge there is no "truth" to be had - the other choice is dogma or adopting someone else's common sense (law, authority). Actually, not knowing/admitting that one is lost is far worse ...<div><br></div><div>Rense Lange</div><div><br></div><div><div><br><div><div>On Jun 22, 2013, at 2:46 PM, Agustin Tristan &lt;<a href="mailto:ici_kalt@yahoo.com">ici_kalt@yahoo.com</a>&gt; wrote:</div><br class="Apple-interchange-newline"><blockquote type="cite"><div><div style="background-color: rgb(255, 255, 255); font-family: 'lucida console', sans-serif; font-size: 14pt; "><div style="RIGHT: auto"><span style="RIGHT: auto">I am&nbsp;again facing this problem according to Lucia's question and actual answers:</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto">Question: I am doing a research and have method A and method B, which is better?</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto">Answser 1: Do both and compare, if you do not find differences then&nbsp;both methods are the same, if you do find&nbsp;differences then both methods are different.</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto">Answer&nbsp;2:&nbsp;why do you use methods A and B? try method C.</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto">Answer 3 could be: </span><span style="RIGHT: auto">In the next step&nbsp;we can&nbsp;propose method D or any other procedure...and if&nbsp;researcher X&nbsp;has a software then method X is better, or if the agency Y uses method Y then method Y is better...</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto">I'm lost.</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto">Regards</span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto">Agustin<var id="yui-ie-cursor"></var></span></div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto"></span>&nbsp;</div>
<div style="background-color: transparent; font-style: normal; font-family: 'lucida console', sans-serif; font-size: 19px; right: auto; "><span style="RIGHT: auto"></span>&nbsp;</div>
<div></div>
<div>&nbsp;</div>
<div><b><font color="#0000bf" face="arial, helvetica, sans-serif">INSTITUTO DE EVALUACION E INGENIERIA AVANZADA.</font></b></div>
<div style="RIGHT: auto"><b style="RIGHT: auto"><font color="#0000bf" face="arial, helvetica, sans-serif">
</font><div><font color="#0000bf" face="arial, helvetica, sans-serif"><br></font></div></b>
<div></div>Ave. Cordillera Occidental No. 635</div>
<div style="RIGHT: auto">Colonia Lomas 4ª San Luis Potosí, San Luis Potosí.</div>
<div>C.P. 78216 MEXICO</div>
<div>(52) (444) 8 25 50 76 / (52) (444) 8 25 50 77 / (52) (444) 8 25 50 78</div>
<div>Página Web (en español): <a href="http://www.ieia.com.mx/" rel="nofollow" target="_blank">http://www.ieia.com.mx/</a></div>
<div>Web page (in English): <a href="http://www.ieesa-kalt.com/English/Frames_sp_pro.html">http://www.ieesa-kalt.com/English/Frames_sp_pro.html</a><br></div>
<div><br></div>
<div style="FONT-FAMILY: lucida console, sans-serif; FONT-SIZE: 14pt">
<div style="FONT-FAMILY: times new roman, new york, times, serif; FONT-SIZE: 12pt">
<div dir="ltr">
<div style="BORDER-BOTTOM: #ccc 1px solid; BORDER-LEFT: #ccc 1px solid; PADDING-BOTTOM: 0px; LINE-HEIGHT: 0; MARGIN: 5px 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; HEIGHT: 0px; FONT-SIZE: 0px; BORDER-TOP: #ccc 1px solid; BORDER-RIGHT: #ccc 1px solid; PADDING-TOP: 0px" class="hr" readonly="true" contenteditable="false"></div><font size="2" face="Arial"><b><span style="FONT-WEIGHT: bold">From:</span></b> Rense Lange &lt;<a href="mailto:rense.lange@gmail.com">rense.lange@gmail.com</a>&gt;<br><b><span style="FONT-WEIGHT: bold">To:</span></b> <a href="mailto:rasch@acer.edu.au">rasch@acer.edu.au</a> <br><b><span style="FONT-WEIGHT: bold">Sent:</span></b> Saturday, June 22, 2013 10:00 AM<br><b><span style="FONT-WEIGHT: bold">Subject:</span></b> Re: [Rasch] Rasch: analyze two versions of a test<br></font></div>
<div class="y_msg_container"><br>
<div id="yiv6255233474">
<div>
<div><br></div>
<div>Is there any way to have two or more raters evaluate the same people on a fairly large scale? If so, you can also check rater effects using Facets … Even if you had only very limited numbers of double/triple/ … ratings, large rater differences/biases would be a sign for caution.</div>
<div><br></div>
<div>Rense Lange</div><br>
<div>
<div>On Jun 22, 2013, at 8:17 AM, "Bond, Trevor" &lt;<a href="mailto:trevor.bond@jcu.edu.au" rel="nofollow" target="_blank" ymailto="mailto:trevor.bond@jcu.edu.au">trevor.bond@jcu.edu.au</a>&gt; wrote:</div><br class="yiv6255233474Apple-interchange-newline">
<blockquote type="cite">
<div>
<div>Dear Lucia</div>
<div>You do it both ways, expecting invariance.</div>
<div>Where you don't, you look for reasons.</div>
<div>Then choose.</div>
<div>TGB</div>
<div><br><br>Sent from 007's iPad</div>
<div><br>On 22/06/2013, at 12:19 PM, "Lucia Luyten" &lt;<a href="mailto:Lucia.Luyten@arts.kuleuven.be" rel="nofollow" target="_blank" ymailto="mailto:Lucia.Luyten@arts.kuleuven.be">Lucia.Luyten@arts.kuleuven.be</a>&gt; wrote:<br><br></div>
<blockquote type="cite">
<div>
<div style="FONT-FAMILY: Tahoma; DIRECTION: ltr; FONT-SIZE: 10pt">Hi 
<div><br></div>
<div>I have a question about analyzing two versions of a test.&nbsp;</div>
<div><br></div>
<div>Say we have 130 items for a test. We make two versions of this test. In version A, we put items number 1 to 80 and in version 2 the items number 50 to 130. So items 50-80 are in both versions. In version A, the item numbers 1 to 30 are anchor items from a previous test. For these items, we know and use the measures from a previous Facets analysis. These anchor items (1-30) occur only in version A, not in version B.</div>
<div><br></div>
<div>About 400 candidates take version A, and about 250 take version B. The test is rated by 4 raters. Raters rate both versions, each test taker is rated by one random rater.</div>
<div><br></div>
<div>One might choose to take all candidates together for analysis. Or one can choose to first analyze version A separately (using the measures for the anchor items). &nbsp;And then use the outcome, i.e. the measures for the identical items (number 50-80) and the measures for the raters, in the subsequent analyses of version B.&nbsp;</div>
<div><br></div>
<div>Which way of analyzing is preferable and why is it?</div>
<div><br></div>
<div>Kind regards,&nbsp;</div>
<div><br></div>
<div>Lucia Luyten</div>
<div><br></div>
<div><br>
<div style="FONT-FAMILY: Tahoma; FONT-SIZE: 13px"><font size="2" face="Arial">
<div>
<div style="BORDER-BOTTOM: #ccc 1px solid; BORDER-LEFT: #ccc 1px solid; PADDING-BOTTOM: 0px; LINE-HEIGHT: 0; MARGIN: 5px 0px; PADDING-LEFT: 0px; PADDING-RIGHT: 0px; HEIGHT: 0px; FONT-SIZE: 0px; BORDER-TOP: #ccc 1px solid; BORDER-RIGHT: #ccc 1px solid; PADDING-TOP: 0px" class="hr" readonly="true" contenteditable="false"></div></div>
<div>Lucia Luyten<br>wetenschappelijk medewerker<br>CNaVT / CTO / KULeuven<br>Blijde-Inkomststraat 7 bus 3319<br>3000 Leuven<br>016 32 53 59<br>fax 016 32 53 60<br><a href="mailto:lucia.luyten@arts.kuleuven.be" rel="nofollow" target="_blank" ymailto="mailto:lucia.luyten@arts.kuleuven.be">lucia.luyten@arts.kuleuven.be</a><br>
<div class="yiv6255233474MsoNormal"><a href="http://www.cnavt.org/" rel="nofollow" target="_blank">http://www.cnavt.org/</a></div>
<div class="yiv6255233474MsoNormal"><a href="http://www.cteno.be/" rel="nofollow" target="_blank">http://www.cteno.be/</a></div></div>
<div><br></div>
<div><font face="arial"></font><br>&nbsp;</div>
<div>&nbsp;</div></font></div></div></div></div></blockquote>
<blockquote type="cite">
<div><span>_______________________________________________</span><br><span>Rasch mailing list</span><br><span><a href="mailto:Rasch@acer.edu.au" rel="nofollow" target="_blank" ymailto="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a></span><br><span>Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au" rel="nofollow" target="_blank">https://mailinglist.acer.edu.au/mailman/options/rasch/trevor.bond%40jcu.edu.au</a></span></div></blockquote></div>_______________________________________________<br>Rasch mailing list<br><a href="mailto:Rasch@acer.edu.au" rel="nofollow" target="_blank" ymailto="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/rense.lange%40gmail.com">https://mailinglist.acer.edu.au/mailman/options/rasch/rense.lange%40gmail.com</a></blockquote></div><br></div></div><br>_______________________________________________<br>Rasch mailing list<br><a href="mailto:Rasch@acer.edu.au" ymailto="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>Unsubscribe: <a href="https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com" target="_blank">https://mailinglist.acer.edu.au/mailman/options/rasch/ici_kalt%40yahoo.com</a><br><br></div></div></div></div></div>_______________________________________________<br>Rasch mailing list<br><a href="mailto:Rasch@acer.edu.au">Rasch@acer.edu.au</a><br>Unsubscribe: https://mailinglist.acer.edu.au/mailman/options/rasch/rense.lange%40gmail.com</blockquote></div><br></div></div></body></html>