<table cellspacing="0" cellpadding="0" border="0" ><tr><td valign="top" style="font: inherit;"><DIV>Hello Ray, you wrote:</DIV>
<DIV>&nbsp;</DIV>
<DIV>"<FONT color=#1f497d size=3 face=Calibri>To control for this our test design, which has multiple test booklets, makes sure that each item is located once in each of four locations: first 30-minute cluster, second 30-minute cluster, third 30-minute cluster and fourth 30-minute cluster."</FONT></DIV>
<DIV>&nbsp;</DIV>
<DIV>Does the position of the anchor item in each cluster matters? i.e. The first anchor item may occupy positions 13 (cluster1),&nbsp;4 (cluster2), 8 (cluster3), 21 (cluster4) or is it needed that it occupies position 13 in the four clusters? </DIV>
<DIV>It is clear that the position must be inside its own tesltlet, but as items must be independent I think they may be interchaged in position inside the testlet.</DIV>
<DIV>I hope position will not be important on the item calibration, but please let me know.</DIV>
<DIV>&nbsp;</DIV>
<DIV>Thank you.</DIV>
<DIV>&nbsp;</DIV>
<DIV>Agustin Tristan<BR><BR><BR>--- On <B>Mon, 2/15/10, Adams, Ray <I>&lt;adams@acer.edu.au&gt;</I></B> wrote:<BR></DIV>
<BLOCKQUOTE style="BORDER-LEFT: rgb(16,16,255) 2px solid; PADDING-LEFT: 5px; MARGIN-LEFT: 5px"><BR>From: Adams, Ray &lt;adams@acer.edu.au&gt;<BR>Subject: RE: [Rasch] complex sampling Rasch<BR>To: "Agustin Tristan" &lt;ici_kalt@yahoo.com&gt;, "rasch" &lt;rasch@mailinglist.acer.edu.au&gt;<BR>Cc: "Randy &amp; Shelley MacIntosh" &lt;srmac@bluebottle.com&gt;<BR>Date: Monday, February 15, 2010, 4:56 PM<BR><BR>
<DIV id=yiv285758153>
<STYLE>
<!--
#yiv285758153  
 _filtered #yiv285758153 {font-family:Calibri;
panose-1:2 15 5 2 2 2 4 3 2 4;}
 _filtered #yiv285758153 {font-family:Tahoma;
panose-1:2 11 6 4 3 5 4 4 2 4;}
#yiv285758153  
#yiv285758153 p.MsoNormal, #yiv285758153 li.MsoNormal, #yiv285758153 div.MsoNormal
        {margin:0cm;
margin-bottom:.0001pt;
font-size:12.0pt;
font-family:"Times New Roman", "serif";}
#yiv285758153 a:link, #yiv285758153 span.MsoHyperlink
        {
color:blue;
text-decoration:underline;}
#yiv285758153 a:visited, #yiv285758153 span.MsoHyperlinkFollowed
        {
color:purple;
text-decoration:underline;}
#yiv285758153 p.MsoListParagraph, #yiv285758153 li.MsoListParagraph, #yiv285758153 div.MsoListParagraph
        {
margin-top:0cm;
margin-right:0cm;
margin-bottom:0cm;
margin-left:36.0pt;
margin-bottom:.0001pt;
font-size:12.0pt;
font-family:"Times New Roman", "serif";}
#yiv285758153 span.EmailStyle17
        {
font-family:"Calibri", "sans-serif";
color:#1F497D;}
#yiv285758153 .MsoChpDefault
        {}
 _filtered #yiv285758153 {
margin:72.0pt 72.0pt 72.0pt 72.0pt;}
#yiv285758153 div.Section1
        {}
-->
</STYLE>

<DIV class=Section1>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri', 'sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt">(a)&nbsp; This is effectively what happens.&nbsp; Item parameters in PISA are estimate using a “calibration sample”.&nbsp; The calibration sample is a subsample of 500 students from each OECD country.&nbsp; The subsample is drawn using weights so that schools and students are appropriately represented, and then with 500 per country each country has the same influence on the item parameter estimates.</SPAN></DIV>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri', 'sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt">&nbsp;</SPAN></DIV>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri', 'sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt">(b) PISA illustrates a potential for quite strong position effects.&nbsp; To control for this our test design, which has multiple test booklets, makes sure that each item is located once in each of four locations: first 30-minute cluster, second 30-minute cluster, third 30-minute cluster and fourth 30-minute cluster.</SPAN></DIV>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri', 'sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt">&nbsp;</SPAN></DIV>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri', 'sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt">Ray</SPAN></DIV>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri', 'sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt">&nbsp;</SPAN></DIV>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri', 'sans-serif'; COLOR: #1f497d; FONT-SIZE: 11pt">&nbsp;</SPAN></DIV>
<DIV style="BORDER-BOTTOM: medium none; BORDER-LEFT: medium none; PADDING-BOTTOM: 0cm; PADDING-LEFT: 0cm; PADDING-RIGHT: 0cm; BORDER-TOP: #b5c4df 1pt solid; BORDER-RIGHT: medium none; PADDING-TOP: 3pt">
<P class=MsoNormal><B><SPAN style="FONT-FAMILY: 'Tahoma', 'sans-serif'; FONT-SIZE: 10pt" lang=EN-US>From:</SPAN></B><SPAN style="FONT-FAMILY: 'Tahoma', 'sans-serif'; FONT-SIZE: 10pt" lang=EN-US> Agustin Tristan [mailto:ici_kalt@yahoo.com] <BR><B>Sent:</B> Tuesday, 16 February 2010 1:58 AM<BR><B>To:</B> rasch<BR><B>Cc:</B> Adams, Ray; Randy &amp; Shelley MacIntosh; rasch<BR><B>Subject:</B> RE: [Rasch] complex sampling Rasch</SPAN></DIV></DIV>
<P class=MsoNormal>&nbsp;</DIV>
<TABLE class=MsoNormalTable border=0 cellSpacing=0 cellPadding=0>
<TBODY>
<TR>
<TD style="PADDING-BOTTOM: 0cm; PADDING-LEFT: 0cm; PADDING-RIGHT: 0cm; PADDING-TOP: 0cm" vAlign=top>
<DIV>
<P class=MsoNormal>Hello! Thank your for the explanation concerng the sample design and the Rasch item's parameters, it is useful because we are also interested to use some ideas from the PISA project&nbsp;. In addition to Randy's question, I wonder if some of the following aspects are&nbsp;considered as important for the item and test calibration for the PISA project: </DIV></DIV>
<DIV>
<P class=MsoNormal>a) Could it be convenient to get the item calibration for each sub-sample&nbsp; (schools) and after that to combine the calibrations using the weight for each sample unit to obtain a "general" item calibration?</DIV></DIV>
<DIV>
<P class=MsoNormal>b) As the Rasch model is sample free (or without a practical implication as Ray did explain), can we use the item calibration of the anchor items independently of the position of the items&nbsp; in the test?</DIV></DIV>
<DIV>
<P class=MsoNormal>Regards</DIV></DIV>
<DIV>
<P class=MsoNormal>Agustin Tristan</DIV></DIV>
<DIV>
<P class=MsoNormal><BR><BR>&nbsp;</DIV></DIV>
<DIV>
<P class=MsoNormal><BR>--- On <B>Sun, 2/14/10, Adams, Ray <I>&lt;adams@acer.edu.au&gt;</I></B> wrote:</DIV></DIV>
<BLOCKQUOTE style="BORDER-BOTTOM: medium none; BORDER-LEFT: #1010ff 1.5pt solid; PADDING-BOTTOM: 0cm; MARGIN-TOP: 5pt; PADDING-LEFT: 4pt; PADDING-RIGHT: 0cm; MARGIN-BOTTOM: 5pt; MARGIN-LEFT: 3.75pt; BORDER-TOP: medium none; BORDER-RIGHT: medium none; PADDING-TOP: 0cm">
<P style="MARGIN-BOTTOM: 12pt" class=MsoNormal><BR>From: Adams, Ray &lt;adams@acer.edu.au&gt;<BR>Subject: RE: [Rasch] complex sampling Rasch<BR>To: "Randy &amp; Shelley MacIntosh" &lt;srmac@bluebottle.com&gt;, "rasch" &lt;rasch@mailinglist.acer.edu.au&gt;<BR>Date: Sunday, February 14, 2010, 7:31 PM</DIV>
<DIV>
<P class=MsoNormal>Randy,<BR><BR>The answer is a bit complicated. Let's put fit aside and assume the<BR>Rasch model and your data are compatible.&nbsp; Then, it depends upon the<BR>modelling assumptions you make and your estimation method.&nbsp; If you use<BR>conditional maximum likelihood or a pairwise routine then the item<BR>parameter estimates are sample free and so the sample design does not<BR>influence the estimates.&nbsp; If you use unconditional or marginal maximum<BR>likelihood then "in theory" there may be some minor effects, but I've<BR>never seen any evidence that it has any practical consequence.<BR><BR>In PISA we do not take the complex sample design into account when<BR>estimating item parameters.<BR><BR>Ray<BR><BR><BR>-----Original Message-----<BR>From: <A href="http://us.mc1115.mail.yahoo.com/mc/compose?to=rasch-bounces@acer.edu.au" rel=nofollow target=_blank>rasch-bounces@acer.edu.au</A> [mailto:<A
 href="http://us.mc1115.mail.yahoo.com/mc/compose?to=rasch-bounces@acer.edu.au" rel=nofollow target=_blank>rasch-bounces@acer.edu.au</A>] On<BR>Behalf Of Randy &amp; Shelley MacIntosh<BR>Sent: Monday, 15 February 2010 7:42 AM<BR>To: rasch<BR>Subject: [Rasch] complex sampling Rasch<BR><BR>I am interested in applying the Rasch model to data from a complex <BR>sample design.<BR>I was wondering if this has been done?<BR>For example, is the nature of the PISA sample design explicitly taken <BR>into account when the Rasch estimates are produced?<BR><BR><BR>Thanks,<BR>Randy MacIntosh<BR><BR><BR><BR>-------------------------------------------------<BR>Please consider the environment before you print<BR>_______________________________________________<BR>Rasch mailing list<BR><A href="http://us.mc1115.mail.yahoo.com/mc/compose?to=Rasch@acer.edu.au" rel=nofollow target=_blank>Rasch@acer.edu.au</A><BR><A href="https://mailinglist.acer.edu.au/mailman/listinfo/rasch"
 rel=nofollow target=_blank>https://mailinglist.acer.edu.au/mailman/listinfo/rasch </A><BR><BR>-------------------------------------------------<BR>Please consider the environment before you print<BR>_______________________________________________<BR>Rasch mailing list<BR><A href="http://us.mc1115.mail.yahoo.com/mc/compose?to=Rasch@acer.edu.au" rel=nofollow target=_blank>Rasch@acer.edu.au</A><BR><A href="https://mailinglist.acer.edu.au/mailman/listinfo/rasch" rel=nofollow target=_blank>https://mailinglist.acer.edu.au/mailman/listinfo/rasch</A></DIV></DIV></BLOCKQUOTE></TD></TR></TBODY></TABLE>
<P class=MsoNormal><SPAN style="FONT-FAMILY: 'Calibri', 'sans-serif'; FONT-SIZE: 10pt">&nbsp;</SPAN></DIV></DIV>-------------------------------------------------
<DIV></DIV>Please consider the environment before you print </DIV></BLOCKQUOTE></td></tr></table><br>